第一個神經形態視覺和控制系統已經在飛行的無人機上實現。

代爾夫特理工大學的研究人員，利用受動物大腦功能啓發的神經形態圖像處理和控制，創造了一種可以自主飛行的無人機。與通常在圖形處理器上運行的深度神經網絡相比，動物大腦處理數據和消耗能量的效率更高。因此，神經形態處理器是小型無人機的理想選擇，因爲它們消除了對笨重硬件和大電池的需求。

結果非常驚人：在飛行過程中，無人機的深度神經網絡處理數據的速度比在GPU上運行時快64倍，消耗的能量比在GPU上運行時少3倍。這項技術的進一步發展可能會使無人機變得像飛行的昆蟲或鳥類一樣小巧、敏捷和智能。這項研究結果最近發表在《科學機器人》雜志上。

從動物大腦中學習：脈沖神經網絡

人工智能在爲自主機器人提供現實世界應用所需的智能方面具有巨大潛力。然而，目前的人工智能依賴于需要大量計算能力的深度神經網絡。用于運行深度神經網絡的處理器（圖形處理單元，GPU）消耗大量的能量。尤其是像無人機這樣的小型機器人，這是一個問題，因爲它們在傳感和計算方面只能攜帶非常有限的資源。

動物大腦處理信息的方式與GPU上運行的神經網絡非常不同。生物神經元處理信息的方式是不同步的，它們主要通過一種叫做“尖峰”的電脈沖進行交流。由于發送這樣的尖峰信號需要消耗能量，大腦將尖峰信號最小化，從而導致稀疏處理。

受到動物大腦這些特性的啓發，科學家和科技公司正在開發新的神經形態處理器。這些新的處理器允許運行尖峰神經網絡，並承諾更快、更節能。

這篇文章的作者之一、博士生傑西·哈格納爾斯（Jesse Hagenaars）說：“脈沖神經網絡的計算要比標准深度神經網絡簡單得多，而數字脈沖神經元只需要對整數進行加法運算，而標准神經元必須對浮點數進行乘法和加法運算。這使得脈沖神經網絡更快，更節能。要理解其中的原因，想想人類是如何發現計算5 + 8比計算6.25 x 3.45 + 4.05 x 3.45要容易得多的。”

如果神經形態處理器與神經形態傳感器（如神經形態相機）結合使用，這種能量效率將進一步提高。這類相機不以固定的時間間隔拍攝圖像。相反，每個像素只在變亮或變暗時發出信號。這種相機的優點是它們可以更快地感知運動，更節能，並且在黑暗和明亮的環境中都能很好地工作。此外，來自神經形態攝像機的信號可以直接輸入運行在神經形態處理器上的尖峰神經網絡。總之，它們可以成爲自主機器人的巨大推動力，尤其是像無人機這樣的小型敏捷機器人。

飛行無人機的首次神經形態視覺和控制

在《科學機器人》雜志上發表的一篇文章中，荷蘭代爾夫特理工大學的研究人員首次展示了一種利用神經形態視覺和控制進行自主飛行的無人機。具體來說，他們開發了一個脈沖神經網絡，處理來自神經形態相機的信號，並輸出控制命令，決定無人機的姿勢和推力。他們將這個網絡部署在一架無人機上的神經形態處理器 —— 英特爾的Loihi神經形態研究芯片上。多虧了這個網絡，無人機可以感知和控制自己在各個方向的運動。

“我們面臨著許多挑戰，”參與這項研究的研究人員之一費德裏科·帕雷德斯-瓦爾薩梅斯說，“但最難的是想象我們如何訓練一個脈沖神經網絡，使訓練既足夠快，又能在真正的機器人上很好地發揮作用。”

“最後，我們設計了一個由兩個模塊組成的網絡。第一個模塊學習從移動的神經形態相機的信號中視覺感知運動。它完全靠自己，以一種自我監督的方式，只基于來自攝像頭的數據。這與動物學會自己感知世界的方式類似。第二個模塊在模擬器中學習將估計的運動映射到控制命令。這種學習依賴于模擬中的人工進化，在模擬中，在控制無人機方面做得更好的網絡産生後代的機會更高。經過幾代人工進化，脈沖神經網絡的控制能力越來越好，最終能夠以不同的速度向任何方向飛行。我們訓練了這兩個模塊，並開發了一種將它們合並在一起的方法。我們很高興地看到，合並後的網絡立即在真正的機器人上運行良好。”

憑借其神經形態的視覺和控制，無人機能夠在不同的光線條件下以不同的速度飛行，從黑暗到明亮。它甚至可以在閃爍的燈光下飛行，這使得神經形態相機中的像素向網絡發送大量與運動無關的信號。

神經形態AI提高了能量效率和速度

神經形態無人機領域的博士候選人斯坦因·斯卓本斯（Stein Stroobants）表示：“重要的是，我們的測量證實了神經形態人工智能的潛力。網絡平均每秒運行274到1600次。如果我們在一個小型的嵌入式GPU上運行相同的網絡，它平均每秒只運行25次，相差10-64倍！此外，在運行網絡時，英特爾的Loihi神經形態研究芯片消耗1.007瓦，其中1瓦是處理器在打開芯片時所消耗的空閑功率。運行網絡本身只需要7毫瓦。相比之下，在運行相同網絡時，嵌入式GPU的功耗爲3瓦，其中1瓦爲空閑功耗，2瓦爲網絡運行功耗。神經形態的方法使人工智能運行得更快、更高效，可以部署在更小的自主機器人上。”

神經形態人工智能在微型機器人中的未來應用

“神經形態人工智能將使所有自主機器人變得更加智能，”仿生無人機教授Guido de Croon說，“但它絕對是微型自主機器人的推動因素。在代爾夫特理工大學航空航天工程學院，我們正在研究微型自主無人機，它可以用于從監控溫室作物到跟蹤倉庫庫存的各種應用。微型無人機的優勢在于它們非常安全，可以在狹窄的環境中航行，比如在番茄植株之間。此外，它們非常便宜，因此可以成群部署。正如我們在勘探和氣源定位設置中所展示的那樣，這有助于更快地覆蓋一個區域。”

“目前的工作是朝著這個方向邁出的一大步。然而，這些應用的實現將取決于進一步縮小神經形態硬件的規模，並將其功能擴展到更複雜的任務，如導航。”

如果朋友們喜歡，敬請關注“知新了了”！