世界上最大的神經形態超級計算機的目標是100億個神經元

袁遺說科技 2024-05-10 12:57:49

本文由半導體産業縱橫(ID:ICVIEWS)編譯自eenewseurope

神經形態超級計算機正在興起。

德國的SpiNNcloud Systems(德累斯頓工業大學的子公司)正在開發一種具有多達100億個神經元的神經形態超級計算機。

SpiNNaker2 系統是過去十年中耗資 10 億歐元的歐洲項目的一部分,該項目以 ARM 創始人之一 Steve Furber 教授的工作爲基礎。

SpiNNaker2 神經形態超級計算機旨在處理事件驅動的神經網絡、深度神經網絡和基于符號規則的 AI。這與英特爾上個月推出的具有10億個神經元的Hala Point系統不同。

“我們正在推出最大的商用混合超級計算機,它結合了基于事件的屬性以及分布式深度神經網絡和基于規則的引擎,因爲您可以在ARM內核上靈活地實時交換信息,”SpiNNcloud聯合首席執行官Hector Gonzalez告訴eeNews Europe。

在德國德累斯頓建造的最初的半尺寸實現將擁有多達500萬個神經元。它使用具有 152 個 ARM M4F 微控制器內核的定制芯片,該芯片基于 Global Foundries 的 22nm 絕緣體 FDX 工藝構建,使用自適應反偏置(ABB)來降低功耗。

外圍還有神經網絡加速器內核和內存管理內核,以及指數和對數函數以及兩個真隨機數發生器 (RNG),用于對每個內核中 PLL 的熱噪聲進行采樣,以進行隨機或隨機遊走操作。

一張卡上有 48 個芯片,一個機架上有 90 個卡,8 個機架上有 8 個芯片,總共有 5.25m 的核心。

這台 5m 核心的超級計算機有 50 億個神經元,因爲每個核心有 1000 個神經元,但 10m 核心是我們用 1440 塊板提供的最大尺寸——限制是路由和保持實時性能。最初的系統在 1 毫秒內更新,但您越大,難度就越大。有了 1440 塊板,我們仍然可以在 1 毫秒內完成更新。

該系統混合使用芯片級的同步操作和電路板和機架之間的異步通信。芯片的電壓可以在0.45V和0.6V的阈值之間動態變化,具體取決于數據要求,例如,對于通過系統傳輸的數據尖峰,頻率也可以動態變化。

Gonzalez說:“這是節能計算,但你也可以獲得人工智能和以基于事件的方式操作代碼的能力,不僅圍繞尖峰框架,而且我們還可以在不同規模上使用稀疏性,不僅用于計算,而且在通信級別和不同的網絡上。這在GPU架構中是很難做到的。”

神經形態超級計算機將在雲端提供,可以同時托管許多不同類型的人工智能框架,用于傳感器網絡或提高生成式人工智能的准確性和安全性。

Gonzalez說:“我們已經與智慧城市中的人們進行了對話,他們對傳感器流的實時處理,使用並行的小型網絡進行藥物發現感興趣,這非常適合機器。”

“你可以擴展符號引擎以及 DNN,它可以是 YOLO 或 LLM 的 GPT 層,它們可以非常擅長不産生幻覺、處理不完整的數據,這也可用于具有推理功能的傳感器流。”

“我們也對運行大腦模型非常感興趣,由于連接要求,這些模型通常很難在其他網絡中運行。”

首批客戶之一是美國的桑迪亞國家實驗室。“類腦計算需要可編程的動力學、基于事件的通信和極端規模,”桑迪亞國家實驗室的Fred Rothganger說:“SpiNNaker2 是當今最靈活的神經超級計算機架構。在桑迪亞,我們很高興能在這個神奇的系統上構建應用程序。”

曼徹斯特大學的Furber團隊在過去七年中一直在爲超級計算機開發軟件堆棧,通過美國華盛頓大學開發的TVM接口,將用于脈沖網絡、基于圖形的DNN和符號邏輯的工具結合起來。

2023年初,SpiNNaker2項目獲得了250萬歐元的資助。這筆資金由歐洲創新委員會(EIC)授予,作爲其爲深科技初創公司提供的一攬子資金的一部分。

EIC從提交給過渡贈款計劃的289個提案中選擇了27個項目,以獲得總計7930萬歐元的歐盟資金。該計劃旨在將歐洲研究項目的研究成果轉化爲商業上可行的業務。

德累斯頓工業大學負責研究的副校長Angela Rösen-Wolff教授補充說:“EIC的資助將使SpiNNaker2能夠擴展到移動應用,例如CeTI卓越集群中的人機交互,並在現實的工業環境中進行測試。

SpiNNcloud Systems聯席首席執行官Christian Eichhorn表示:“ChatGPT等人工智能現在正在進入我們的日常生活,因此代表了一場可與互聯網相媲美的革命。訓練這個人工智能模型一個月消耗的電量相當于3000戶家庭的用電量。目前還無法預測使用人工智能導致的未來電力消耗規模。我們正在爲大規模應用開發最節能的計算硬件,因爲這將是顯著減少人工智能碳足迹的關鍵。

von SpiNNcloud Systems聯合首席執行官Hector Gonzalez補充道:“我們的靈感來自人腦,它只需要30瓦就可以處理最複雜的任務。計算技術的未來必須受到大腦的啓發。

*聲明:本文系原作者創作。文章內容系其個人觀點,我方轉載僅爲分享與討論,不代表我方贊成或認同,如有異議,請聯系後台。

0 阅读:86

袁遺說科技

簡介:感謝大家的關注