本文字數: 3100, 閱讀完需: 16 分鍾
導讀演講者在2024年亞馬遜雲科技出海日上發表了題爲”構建和運營海外電商獨立站的問題和解決方案”的演講。在這個演講中,演講者討論了如何通過雲原生大數據平台解決企業出海時面臨的數據智能化基礎設施建設問題;具體解釋了傳統方式存在多雲多套産品、啓動成本高、運維成本高、場景複用困難等問題,以及如何通過雲棲科技與亞馬遜雲科技合作提供的可托付雲上數據平台來解決這些問題。該演講重點闡述了該平台如何實現零啓動成本、資源彈性供給、多租戶安全合規、全球統一開發體驗、AI賦能等優勢,使企業能夠聚焦業務發展而無需關注底層基礎設施建設。這是一場由雲棲科技與亞馬遜雲科技聯合舉辦的演講。
演講精華以下是小編爲您整理的本次演講的精華，共2800字，閱讀時間大約是14分鍾。如果您想進一步了解演講內容或者觀看演講全文，請觀看演講完整視頻或者下面的演講原文。
亞馬遜雲科技助力智能設備全價值鏈創新
在這場精彩的演講中,石靜猛先生作爲雲棲科技公司的解決方案負責人,向我們全面介紹了亞馬遜雲科技如何助力智能設備全價值鏈創新。石靜猛先生擁有多年的大數據行業從業經驗,之前在阿裏巴巴的計算平台事業部從事大數據産品的研發、生産和交付工作。
石靜猛先生首先感謝在場的觀衆們的耐心聆聽,並對前幾位亞馬遜老師的介紹表示感謝,因爲他們介紹的內容,如安全合規、市場營銷以及資源彈性計算、S3存儲等,都被雲棲科技公司的産品所使用。這些分享讓石靜猛先生的演講變得更加簡單,觀衆們也能更好地理解相關內容。
接下來,石靜猛先生介紹了雲棲科技公司的業務範圍。雲棲科技是一家與亞馬遜聯合創辦的數字原生企業,主要服務對象是出海企業。雲棲科技本身提供的是一個數字化基礎設施建設服務,專注于軟件行業的數字化基礎建設。值得一提的是,雲棲科技完全自主研發了一套雲原生的大數據平台,這是一套純自研的、不是基于任何開源産品包裝而來的平台。
在正式介紹公司産品之前,石靜猛先生簡單地介紹了自己的背景。他表示自己是一個大數據行業的從業者,之前在阿裏巴巴的計算平台事業部從事大數據産品的研發、生産和交付等工作,擁有多年的相關經驗。
回到主題,石靜猛先生解釋說,如果一家企業想要出海,並且擁有數據資産,希望通過數據進行二次加工分析並再産生價值,那麽雲棲科技提供的數字化技術建設服務就非常適合。
爲了更好地闡述公司産品,石靜猛先生采用了一種傳統的思路,即首先提出行業現狀和問題,分析問題的根源,然後介紹雲棲科技與亞馬遜聯合提供的解決方案,最後通過一個案例進行說明。
石靜猛先生指出,對于一家出海企業來說,出海意味著可能需要使用多個雲服務,如國內的阿裏雲或騰訊雲,以及亞馬遜雲科技等國外雲服務。這意味著企業可能需要在多個雲上運行多套産品,包括多套大數據産品。不同的産品可能帶來不同的開發體驗,如SQL方言、Java版本等的差異,還會帶來多套運維體系,以及安全合規問題。
這些問題意味著什麽呢?石靜猛先生用一個橫線圖解釋了業務發展與資源消耗之間的關系。理想情況下,我們希望資源消耗成本能夠隨著業務線性增長而增長。但實際情況是,當業務還很小的時候,啓動成本就很高,可能需要花費30萬元的啓動成本。當增加一個新的場景時,啓動成本就會再增加一份。大數據行業的應用場景非常多,如離線加工、實時加工、實時分析檢索、AI應用等,每增加一個新場景,傳統方式就需要增加一套新的産品組合,導致成本急劇增加。
另一個問題是,當企業開始應用這些場景時,國內的最佳實踐和經驗很難複制到國外,因爲産品不同,需要重新開發,開發運維成本都很高。第三個問題是運維成本高,需要在不同國家部署運維團隊。在這個大框架下,企業還必須滿足安全合規的要求。
那麽,如何解決這些問題呢?如何在海外建立一個數據智能化服務,讓企業能夠聚焦業務,不被底層基礎設施問題所困擾,並且成本低廉?石靜猛先生總結了企業的需求:是否有人能夠提供一個企業級服務,該服務的成本能夠完全貼合業務發展,業務量小時成本就低,能夠零成本啓動,隨著業務增長而增長。同時,運維由服務商全部托管,安全合規得到保障,能夠使用亞馬遜提供的專業技術,支持多種數據業務應用場景,如BI報表、AI應用等,並且只需要在一個平台上就能做到這一切。如果能夠實現全球一套基礎設施,國內和國外的體驗一致,那就是一個理想化的基礎設施,企業可以快速搭建數字化基礎設施,聚焦業務發展。
圍繞這一需求,雲棲科技與亞馬遜聯合共創了一個名爲”可托付的雲上數據平台”。石靜猛先生原本想多介紹一些關于合規能力和穩定性的內容,但由于前面的亞馬遜同事已經介紹得非常專業,他就不再贅述。他強調,業界有調研顯示,在出海乃至國內,業務穩定性和安全合規都是企業頭疼的問題,影響程度很大,占比都非常高。雲棲科技與亞馬遜的合作,就是讓亞馬遜提供經過充分驗證的穩定性和合規管理能力,這是客戶無需關注的底層能力。
那麽,雲棲科技和亞馬遜雲科技的合作到底帶來了什麽呢?首先,亞馬遜雲科技是全球最領先的雲基礎設施提供商,而雲棲科技則是一套完整的純自研、采用最新一代架構的大數據平台。雲棲科技聲明,這個平台不是基于任何開源産品包裝而來,而是從頭到尾使用C++代碼自主研發的,包括存儲、計算引擎、調度系統、元數據管理等,完全是純自研的。
這樣做的好處是,自研代碼可以與雲深度融合集成,充分理解和利用雲的基礎能力。這種深度融合體現在幾個方面:
首先是更極致的資源彈性。正如前面介紹的那樣,資源彈性是非常重要的。雲棲科技可以做到零啓動成本,計算資源供給無限貼近業務需求。具體來說,當你運行一個SQL任務進行數據處理時,只需要花費所需的資源,不運行時則不消耗資源,一分不花。這與傳統方式的區別在于,傳統方式需要預先購買並持有一個大集群,無論是否使用都需要先買資源。雲棲科技的解決方案能夠實現真正的資源彈性,這不僅依賴于軟件架構,更需要與雲底座深度集成,調用雲的API,利用其彈性能力。當資源水位緊張時自動擴容,資源不足時自動擴展,實現精細的庫存管理。通過這種方式,企業可以零成本啓動,資源使用完全貼合業務需求,需要多少就用多少。
第二個優勢是Everything as a Service的架構。所謂Everything as a Service,是指從底層數據、集群資源、數據源、數據管理到上層應用,雲棲科技的大數據平台采用了分離架構。底層數據存儲在S3上,實現數據共享,支持多租戶系統。資源也被抽象出來,可以靈活分配給不同業務、不同用戶使用。在安全方面,雲棲科技發揮了亞馬遜雲基礎設施的安全保障體系,可以在亞馬遜主賬號體系下提供多種安全級別的選擇,如SaaS模式或VPC模式。數據存儲的持久化、S3容器服務的穩定性等,都爲數據安全提供了保障。
此外,雲棲科技的解決方案還提供了高可靠的服務體系,以及全域的SLA保證。所謂全域SLA保證,是因爲企業級服務的SLA保證往往與底座的穩定性密切相關。得益于亞馬遜本身的穩定性保證,雲棲科技可以在亞馬遜雲上提供非常高的SLA,這是從硬件層面貫穿至上層的端到端保證。
總的來說,雲棲科技與亞馬遜的深度融合,能夠充分發揮存儲資源和計算資源的效能。
對于出海企業來說,雲棲科技的解決方案帶來了以下優勢:首先,無論是多雲還是多區域,甚至跨國內外,企業都不需要改變技術架構就能出海,解決了底層問題。對于開發人員和業務人員來說,只需面對一個平台、一種開發體驗。其次,這是一個完全企業托管、無憂可托付的解決方案,企業無需管理運維,運維成本由雲棲科技承擔,如在海外開服時會提供當地運維人員服務。再者,所有服務都是雲原生的,都具有彈性,可以線性擴展。此外,該解決方案已上架Amazon Marketplace,開箱即用。最後,除了高性能、低成本、支持多場景等自身優勢外,雲棲科技的解決方案還納入了亞馬遜提供的安全、合規認證等能力。
接下來,石靜猛先生介紹了雲棲Linker在亞馬遜平台上的架構。在底層,它采用了純原生的S3存儲,使用EKS容器化服務實現資源彈性,並使用數據庫管理元數據等。在上層,雲棲科技自研了一套存儲體系,兼容POSIX文件存儲、S3對象存儲標准等,並自研了元數據管理體系。基于EKS容器化服務,雲棲科技定制了一種稱爲Watcher Cluster的資源管理模式,能夠實現負載隔離、獨立伸縮,伸縮速度可以達到秒級甚至毫秒級。
石靜猛先生舉了一個典型例子:假設每天早上有100個人查看BI報表,那麽需要100塊資源;到中午時只有10個人查看,就只需要10塊資源;如果有56個人查看,就只需要56塊資源。雲棲科技的解決方案能夠根據並發度動態控制資源的彈性供給,使資源使用無限貼近真實需求。
再往上,雲棲科技的産品能夠支持大數據領域的多種應用場景,如離線加工、流式處理、實時分析等,而傳統方式需要組合十幾個開源組件才能做到。雲棲科技的優勢在于,它只需一個産品就能支持所有場景,內核是一份數據、一份資源、一套元數據、一種SQL開發體驗。相比之下,開源方式需要使用不同的組件,如Flink用于流式加工需要編寫Java代碼,Hive用于離線數倉,實時分析需要使用Impala或Doris等,每個組件都占用一份資源,有不同的開發體驗和存儲,導致割裂。
此外,雲棲科技的解決方案還提供了開放的AI引擎。盡管是純自研的,但它並非閉門造車,而是與生態系統融合,原生支持第三方在線大模型的調用,以及自研模型的集成。在實踐中,雲棲科技與客戶合作開發了大屏運營應用,用戶可以通過文本輸入,系統就能生成相應的圖表、表格或其他結果,爲業務人員的分析應用提供支持。
最後,雲棲科技提供了一個統一的數據管理平台,包括Web UI的Studio開發界面,支持開發構建、運維監控、數據資産和質量管理等功能。各種數據源都可以通過産品化的方案集成進來,對外提供數據應用。這整個架構都是完全建立在雲之上的。
總結一下,雲棲科技這一平台的特性主要有五個方面:
數據引擎一大于N,即一個引擎就能解決多種業務場景,避免了組件、數據、資源、開發體驗的分裂和冗余,從而降低成本。開放且解除鎖定,可以在國內外多雲多區域運行,支持全球統一的租戶體系和權限管控。資源按需彈性,啓動成本接近零,完全按需使用資源。AI for Data,一方面支持數據應用AI場景,另一方面利用AI手段優化大數據系統自身。全托管的多雲安全合規平台。針對不同規模的企業,這一解決方案可以提供不同的價值:
對于初創企業,可以實現零成本啓動,提供一站式開發平台,讓企業聚焦業務發展。對于中型企業,可以降本增效,免運維,提供高性能引擎支持業務快速發展。中型企業往往面臨業務量增長、數據規模擴大、運維成本升高等問題,需要降本並獲得高性能支持。雲棲科技的解決方案可以極大降低成本、開箱即用、免運維。對于大型企業,核心價值在于極大降低總體成本,並支持新業務場景的靈活建設。石靜猛先生分享,一般中大型企業從傳統Hadoop平台遷移到雲棲科技平台後,能夠降低1/3以上,甚至一半的成本。同時基于增量計算技術,可以做到真正的全域實時加工,在保證數據新鮮度的同時,性能更高、成本更低,平衡了傳統上不可能平衡的三角矛盾。對于出海企業,雲棲科技的解決方案旨在讓客戶聚焦業務,提供全球統一的開發體驗、代碼複用、人才複用,以及完全托管、免運維的服務。目前,該解決方案已在新加坡的亞馬遜雲科技上開服,即將上架Marketplace。
最後,石靜猛先生分享了一個典型的客戶案例。該客戶原有的大數據平台是基于開源組件搭建的,包括Hive離線數倉、Flink實時鏈路、ClickHouse實時分析等多個組件。除了組件多之外,該系統還面臨查詢超時、鏈路冗余、存儲割裂等問題。
在采用雲棲科技的解決方案後,上述三個場景都得到了支持,只需一個平台就能滿足需求。所有結構化和非結構化數據都可以進入平台,支持寬表查詢、關聯查詢,查詢性能大幅提升。存儲天然分離,基于S3實現無限擴展,自帶數據歸檔和分層存儲功能,並且安全無需關注。該客戶的運維完全托管,成本降低50%,獲得了全面的能力提升。
總的來說,這是一場精彩的演講,石靜猛先生全面介紹了雲棲科技與亞馬遜雲科技合作的創新解決方案。該解決方案將自研的大數據平台與亞馬遜雲基礎設施深度融合,爲企業數字化轉型和全球化提供了一站式、低成本、高效、安全可靠的大數據基礎設施,讓企業能夠聚焦業務創新,實現智能設備全價值鏈的創新。通過與亞馬遜雲科技的合作,雲棲科技解決了企業在出海過程中面臨的諸多挑戰,提供了一種全新的數字化基礎設施建設模式,助力企業聚焦核心業務,推動智能設備全産業鏈的創新發展。
下面是一些演講現場的精彩瞬間：
雲棲科技史進猛感謝亞馬遜老師們的精彩介紹,爲他的分享鋪平了道路
企業出海面臨多雲環境的挑戰,包括多套産品開發體驗不一致、運維複雜以及安全合規問題
傳統大數據應用場景增加時成本急劇上升,且國內經驗難複制到國外
亞馬遜雲科技提供了一站式的企業級數據智能化服務,幫助企業快速搭建數字化基礎設施,專注于業務發展。
亞馬遜雲服務提供了經過充分驗證的穩定性和合規管理能力,爲企業解決了業務穩定和安全合規的頭疼問題。
亞馬遜雲科技 推出開放引擎,支持與第三方 AI 引擎集成,實現多模態人機交互和智能分析應用。
亞馬遜雲科技客戶案例展示了一個基于開源構建的大數據平台系統,集成了Hive、Flink、ClickHouse等多種組件,但仍面臨查詢超時、鏈路冗余和存儲割裂等挑戰。
在亞馬遜雲科技出海日2024活動上,雲棲科技的史進猛分享了構建和運營海外電商獨立站的問題和解決方案。他指出,企業出海面臨多雲環境、多套産品、不同開發體驗、運維成本高、安全合規等挑戰,導致啓動成本高、業務發展受限。爲解決這些問題,雲棲科技與亞馬遜雲科技合作,共同打造了一個可托付的雲上數據平台。
這個平台具有以下優勢:一是深度融合亞馬遜雲基礎設施,實現極致資源彈性和高可靠性;二是采用Everything架構,實現數據、資源、元數據、應用的統一;三是支持多租戶、跨雲跨區域部署;四是一站式開發,降低運維成本;五是開放引擎,支持第三方AI模型集成。通過這個平台,企業可以零成本啓動、降低50%以上運維成本,快速複制國內最佳實踐,聚焦業務發展。該平台已在新加坡亞馬遜雲科技上線,即將上架Marketplace。
史進猛還分享了一個典型客戶案例,展示了該平台如何解決開源大數據平台的諸多痛點,提高查詢性能、降低存儲和運維成本。總的來說,這個雲上數據平台爲企業出海提供了高效、經濟、安全的數字化基礎設施解決方案。
