100%合成數據實現99.9%抓取成功率,具身智能公司「跨維智能」完成戰略輪融資|36氪首發

36氪 2024-05-14 12:30:27

文 | 周鑫雨

編輯 | 鄧詠儀

36氪獲悉,近日通用具身智能技術研發公司“跨維智能”完成戰略輪融資,該輪融資由聯想創投領投。據了解,資金將主要用于産品研發、團隊擴充和市場拓展。

成立于2021年6月,跨維智能主要基于3D生成式AI、多模態大模型和三維成像等視覺感知相關技術,爲下遊企業客戶提供軟硬一體的具身智能解決方案。

跨維智能創始人賈奎,同時也是香港中文大學(深圳)的教授,長期從事人工智能、計算機視覺、機器學習、生成式三維建模與學習、三維感知大模型等領域的研究,曾先後于中科院深圳先進技術研究院、香港中文大學、伊利諾伊大學香槟分校先進數字科學研究中心、澳門大學及華南理工大學從事教學和科研工作。

2016年回內地後,賈奎在華南理工大學便選擇用新型AI作爲攻克三維感知的研究方向。自2018年起,賈奎就在華南理工大學“幾何感知與智能”實驗室中,嘗試以自研的Sim2Real技術爲核心,通過物理引擎去合成3D仿真數據——這後來也成了跨維智能的核心技術。

賈奎告訴36氪,隨著操作對象、環境和任務複雜性逐漸增強,通用具身智能將會經曆L1-L5五個階段。從半結構化場景和特定機器人形態處理特定任務,逐步升級到對任意/未知場景,以自適應的通用機器人形態,完成任意任務。

賈奎對具身智能發展階段的定義。

而稀少的高質量標注數據,是具身智能從訓練到落地過程中最大的掣肘。不同于語言模型和圖像、視頻模型等二維模型的訓練,具身智能底層模型的訓練,需要海量的在物理世界絕對坐標系下的精確測量數據,數據獲取難度、獲取成本、標注周期都遠超語言模型。

用合成數據代替真實物理數據,是跨維智能提供的高效低成本,且更加真實可靠的解決方案。跨維智能的Sim2Real技術,原理是在物理仿真機器人操作場景中,引入各種與任務相關的真實世界的幹擾,再通過渲染、軌迹數據記錄、關節數據記錄等方式形成海量的精確標注合成數據,並用于具身智能大模型。

跨維智能應用場景。

具體到落地,Sim2Real技術能夠讓企業客戶無需使用真實3D數據,就可以完成機械臂複雜場景作業的3D視覺模型訓練。用基于100%合成數據訓練的模型驅動機械臂的柔性操作,可以實現99.9%以上的穩定操作或抓取。

以Sim2Real技術爲核心,跨維智能計劃了通向通用具身智能的技術發展三階段:

• 數據與具身智能仿真引擎DexVerse™,用于數據生成和大模型訓練;

• 基于3D VLA (3D Vision Language Action) 大模型的成像感知套件;

• 支持AnyGrasp/AnyManipulation(任意抓取/控制)的通用具身智能大模型,在不同行業和場景具有強泛化性。

目前,跨維智能已經將軟硬一體的AI技術應用在工業制造領域等場景。2023年5月,跨維智能發布了Xema北極鷗系列相機,並開源了API接口和SDK二次開發軟件包,讓用戶降低二次開發和適配的成本。

同時,基于在硬件技術較爲成熟的機械臂和機器人,跨維智能提供以視覺感知爲主的具身智能解決方案,並在半導體、汽車、光伏等行業已經落地。

以下是投資人評價:

聯想創投:跨維智能擁有最優秀的Sim2Real和大模型相關技術,是實現高通用性具身智能的核心底座。目前跨維智能依托Sim2Real和相關技術,在具身智能領域擁有深厚産品積累,已打造軟硬一體産品矩陣,包含基于3D生成式AI的Sim2Real AI引擎、基于3D VLA大模型的成像感知套件,並且在具身智能領域商業化落地處于領先位置。

歡迎交流!

0 阅读:2