火山引擎譚待:大模型的超低定價,來自對技術的信心

新周刊 2024-05-16 10:40:57

“降價的基本邏輯是,我們有信心用技術手段降低成本,市場也需要更低價的大模型。”

5月15日,字節跳動豆包大模型在火山引擎原動力大會上正式發布。火山引擎總裁譚待在接受媒體采訪時,談到了大模型的定價策略。

豆包大模型的超低價格引發行業震動。據悉,豆包主力模型的推理輸入價格只有0.0008元/千Tokens,比行業便宜99.3%。對此,譚待坦言,“降價是用技術優化成本來實現的。如果只是補貼,用虧損換收入是不可持續的,火山引擎不會走這條路。”

據介紹,大模型推理成本的優化,技術上有很多手段。首先是模型本身,模型結構、訓練方法都可以持續改進,包括業界很關注的MoE(混合專家模型),就是優化推理成本很好的解決方案。

其次是工程上的優化。大模型的調用量越大,優化推理成本的空間也越大。以前的模型都是單機推理,大模型用的是分布式推理。所以如果能把各種各樣的底層算力用得更好,推理成本就會大大降低。

譚待進一步解釋說,豆包大模型平均每天處理1200億Tokens文本、生成3000萬張圖片,這裏有不同的負載,可以把不同任務混合在一起,互相錯峰,通過智能調度把它們的利用率都跑得很高,就能極大地提升資源利用率,實現整體成本的優化。

另外以字節內部業務爲例,飛書的主要流量高峰在工作時間,抖音在下班後休閑時間的流量更高,這些不同業務的大模型推理,也能根據業務特點錯峰使用,就可以降低成本。

對于“大模型開始價格戰”的說法,譚待認爲,大模型市場仍在發展初期,遠遠沒到激烈競爭的階段。“池塘有多大,魚就有多大,現在整個池塘還在培養的過程。”

“一個人現在創業,如果要花1萬塊錢調用大模型,可能會覺得有點貴。我們把價格降到1%都不到,100塊錢就能用起來,他的想法也就更容易嘗試。”譚待表示,企業的AI轉型充滿不確定性,試錯成本要盡量低,才能更快更多地實現大模型的應用落地,從而讓整個行業受益。

0 阅读:12