美國AI開發者親測:開源大模型不如閉源,效率低、優化差

銀箭財經 2024-04-28 00:57:56

爲什麽開源大模型反而是最貴的?近日,隨著Llama 3宣布開源,一則美國AI創業者Arsenii Shatokhin的采訪視頻在網上流傳(https://weixin.qq.com/sph/AZM8h34Jm),這位AI智能體公司VRSEN的創始人表示,企業自己運行開源大模型效率低于閉源API,“我們只有一兩個客戶有足夠資源,來精調或運行700億參數的Llama開源模型”。

Arsenii Shatokhin已經在人工智能行業中從業六年,是美國知名的AI創業者之一。當前創業公司VRSEN專注于AI智能體,即基于大模型爲企業客戶打造AI Agent,從而提高銷售轉化率等指標。目前,Arsenii Shatoknin已經爲多家知名企業如思科、StripePMA、HUGO PFOHE等提供過AI解決方案。

Llama 3開源後,Arsenii Shatokhin迅速發現了這款開源大模型的的實用性問題,“Llama 3比之前發布的任何開源模型都大的多,即使是現在,我們也只有一兩個客戶擁有足夠的資源來精調、甚至只是運行這款700億參數的大模型。”

對于他的客戶而言,使用這款開源大模型,反而不如閉源的商業大模型效率高。他分析說,閉源大模型的API優化效率更高,“因爲這些API是專門爲模型構建的,並且盡可能地進行了優化,你只需要爲你使用的東西付費,而無需其他費用。”與之相對,如果在開源模型中開發這樣的優化系統,“是非常複雜的”。

開閉源之爭是大模型行業近期熱點,但與Linux、安卓等系統開源不同,越來越多AI行業人士表達了對閉源大模型的認可,並紛紛指出開源大模型存在的各項問題。

“開源大模型會越來越落後”,不久前,百度創始人、董事長兼CEO李彥宏在演講中指出,“大家以前用開源覺得開源便宜,其實在大模型場景下,開源是最貴的。”

當前,開源大模型與以往的開源系統存在明顯差異。在開發者社區,多位網友指出,當前的開源大模型並不是真開源,僅僅是開放參數,而訓練代碼、訓練數據、算法都未開源,依然是一個“黑盒子”,從而也會帶來幾項明顯問題:

問題難解決:開源模型僅提供API接口和下載,開發者連一行源代碼都看不到,如果模型運行出現問題,難以找到原因,也很難及時調整、修正;

Post-pretrain消耗資源大:開源大模型就像一座建好的毛坯房,很難即開即用,要想使用還得經過Post-pretrain,需要消耗巨大的算力資源。正如美國AI創業者所說,大部分公司根本沒有足夠算力來精調和運行。相對來說,閉源的商業模型經過多次優化,已經可以“即開即用”。

安全隱患:海外開源模型均未經過安全測試,在使用中爲確保安全性問題,需要再經過多次精調,不僅有安全隱患,而且進一步加大了使用成本。

同時,也因爲當前的開源大模型並不是“真開源”,僅僅是“開放”,因此無法像開源系統一樣實現“衆人拾柴火焰高”,在持續的叠代進步中,與閉源模型的差距會逐步增大。

近期,美國斯坦福人工智能研究院院長李飛飛帶領團隊發布AI Index報告顯示,在10項針對大模型的評測中,閉源大模型全面領先開源大模型,尤其是在最能體現模型應用和智能體能力的AgentBench項目上,閉源模型評分爲4分,而開源僅爲0.96,兩者差距高達300%。

0 阅读:53

銀箭財經

簡介:洞察商業邏輯,明悉商業本質。