中科院微電子所在圖網(wǎng)絡存內計算方面獲重要進展

時間:2023-02-27來源:中國科學院微電子研究所作者:佚名

深度學習技術作為AI的重要引擎，近年來受到廣泛關注和飛速發(fā)展。圖神經(jīng)網(wǎng)絡（Graph Neural Network）是一種較新的深度學習技術，可用于處理更復雜的非結構化數(shù)據(jù)，廣泛應用于社交網(wǎng)絡、電子購物、藥物預測、人機交互等應用場景。隨著數(shù)據(jù)量的急速膨脹，傳統(tǒng)CMOS數(shù)字硬件系統(tǒng)中運行圖神經(jīng)網(wǎng)絡的效率急待提升，圖神經(jīng)網(wǎng)絡的訓練過程日趨復雜使得訓練能耗居高不下。基于阻變憶阻器（RRAM）的存內計算技術雖可顯著緩解傳統(tǒng)數(shù)字硬件系統(tǒng)中的馮·諾依曼瓶頸、進一步提升計算效率，但仍受到高擦寫功耗、延時及一定的編程阻值隨機性等器件非理想特性的限制。

針對上述問題，微電子所微電子器件與集成技術重點實驗室劉明院士團隊尚大山研究員與香港大學電子工程系王中銳博士合作，開發(fā)了一種利用儲池計算（Reservoir Computing）技術實現(xiàn)圖結構化數(shù)據(jù)分類的技術——回聲狀態(tài)圖網(wǎng)絡（ESGNN）。儲池計算是循環(huán)神經(jīng)網(wǎng)絡的一種簡化形式，能夠將時序輸入信號通過神經(jīng)元的非線性激活函數(shù)轉換到一個高維空間中，再通過一個簡單線性回歸方法有效地讀出。儲池計算中循環(huán)連接層的權重始終固定不變，只需訓練輸出層權重，可最大限度降低訓練復雜度和訓練時間。在硬件方面，團隊利用RRAM的本征隨機性構建大規(guī)模隨機電阻陣列（圖1a-b），將其作為儲池網(wǎng)絡的初始化權重，具有低成本、可擴展優(yōu)勢。在軟件方面，ESGNN巧妙運用了隨機電阻陣列帶來的物理隨機投影，以存內計算的方式完成圖嵌入過程，大大降低了圖神經(jīng)網(wǎng)絡的訓練成本。團隊還通過軟—硬協(xié)同優(yōu)化技術，在基于FPGA的板級測試平臺上實現(xiàn)了對MUTAG、COLLAB數(shù)據(jù)集的圖分類，進行了更大規(guī)模CORA數(shù)據(jù)集的節(jié)點分類仿真。相比傳統(tǒng)數(shù)字硬件系統(tǒng)，能效分別提升了2.16、35.42和40.37倍。該工作展現(xiàn)了RRAM陣列在構建邊緣圖學習系統(tǒng)方面的巨大潛力，也為利用自然界豐富的物理、化學性質開發(fā)更高效的智能硬件系統(tǒng)提供了參考。

該項目得到了科技部、國家自然科學基金委、中科院和香港大學的支持。成果近期發(fā)表在《自然·機器智能》期刊上（Nature Machine Intelligence, DOI: 10.1038/s42256-023-00609-5），并入選當期封面文章。微電子所訪問學生、香港大學博士研究生王少聰、微電子所博士研究生李熠為文章的共同第一作者，香港大學王中銳博士、微電子所尚大山研究員為該文章的通訊作者。此外，參與本工作的主要研究人員還包括微電子所許曉欣研究員、復旦大學劉琦教授和張續(xù)猛博士、浙江大學林芃教授、意大利比薩大學Gallicchio博士和香港科技大學鄭光廷教授等。

文章鏈接：https://www.nature.com/articles/s42256-023-00609-5

Echo state graph neural networks with analogue random resistive memory arrays

S. Wang, Y. Li, D. Wang, W. Zhang, X. Chen, D. Dong, S. Wang, X. Zhang, P. Lin, C. Gallicchio, X. Xu, Q. Liu, K. Chen, Z. Wang*, D. S. Shang*, M. Liu

Nature Machine Intelligence (2023) DOI: 10.1038/s42256-023-00609-5