蘋果發布開源大語言模型OpenELM,iOS18這波必須升級了?

科技後空翻吧 2024-04-26 05:58:52

現在大部分的科技公司都開始進軍AI領域,但是蘋果一直是遲遲沒有動靜,近日蘋果公司今天發布了數個設計用于本地設備而非雲端服務器運行的開源大型語言模型(LLMs),這些模型被稱爲 OpenELM(開源高效語言模型),目前已可在 Hugging Face Hub 上獲取,這是一個共享 AI 代碼的社區平台。

在一份白皮書中,蘋果概述了總共八個 OpenELM 模型,其中四個使用 CoreNet 庫進行了預訓練,另外四個則進行了指令微調。蘋果采用了逐層擴展策略,旨在提升模型的准確性和效率。

與僅提供模型權重和推理代碼以及僅在私有數據集上進行預訓練的以往做法不同,蘋果此次提供了完整的訓練和評估語言模型的框架,包括代碼、訓練日志、多個檢查點和預訓練設置。

蘋果表示,發布 OpenELM 模型的目的是爲了“賦予並豐富開放研究社區”,提供最先進的語言模型。開源模型的分享讓研究人員有機會探究風險、數據和模型偏見。開發者和公司可以直接使用這些模型,或根據需要進行修改。

信息的開放共享已成爲蘋果吸引頂尖工程師、科學家和專家的重要手段,因爲它提供了在蘋果嚴格的保密政策下通常無法發表的研究論文的機會。

盡管蘋果尚未在其設備上引入這類 AI 功能,但預計 iOS 18 將包含一些新的 AI 特性,且有傳言稱蘋果計劃爲了隱私保護而在設備上運行其大型語言模型。

0 阅读:2

科技後空翻吧

簡介:感謝大家的關注