【资料图】
深度学习技术作为AI的重要引擎，近年来受到关注并得到飞速发展。图神经网络（Graph Neural Network）是较新的深度学习技术，可用于处理更复杂的非结构化数据，广泛应用于社交网络、电子购物、药物预测、人机交互等应用场景。随着数据量的急速膨胀，亟待提升传统CMOS数字硬件系统中运行图神经网络的效率，同时，图神经网络的训练过程日趋复杂使得训练能耗居高不下。基于阻变忆阻器（RRAM）的存内计算技术虽可显著缓解传统数字硬件系统中的冯·诺依曼瓶颈、进一步提升计算效率，但受到高擦写功耗、延时以及一定的编程阻值随机性等器件非理想特性的限制。
中国科学院微电子研究所微电子器件与集成技术重点实验室刘明院士团队研究员尚大山与香港大学电子工程系博士王中锐合作，开发了利用储池计算（Reservoir Computing）技术实现图结构化数据分类的技术——回声状态图网络（ESGNN）。储池计算是循环神经网络的简化形式，能够将时序输入信号通过神经元的非线性激活函数转换到一个高维空间中，再通过简单线性回归方法有效地读出。储池计算中循环连接层的权重始终固定不变，只需训练输出层权重，可最大限度降低训练复杂度和训练时间。在硬件方面，该团队利用RRAM的本征随机性构建大规模随机电阻阵列（图1a-b），将其作为储池网络的初始化权重，具有低成本、可扩展优势。在软件方面，ESGNN巧妙地运用随机电阻阵列带来的物理随机投影，以存内计算的方式完成图嵌入过程，降低了图神经网络的训练成本。进一步，该团队采用软-硬协同优化技术，在基于FPGA的板级测试平台上实现了对MUTAG、COLLAB数据集的图分类，进行了更大规模CORA数据集的节点分类仿真。相比传统数字硬件系统，能效分别提升了2.16、35.42和40.37倍。该工作展现了RRAM阵列在构建边缘图学习系统方面的潜力，并为利用自然界丰富的物理性质、化学性质开发出更高效的智能硬件系统提供了参考。
近期，相关研究成果发表在《自然·机器智能》（Nature Machine Intelligence）上，并入选当期封面文章。研究工作得到科技部、国家自然科学基金、中科院和香港大学的支持。复旦大学、浙江大学、意大利比萨大学和香港科技大学等的科研人员参与研究。
论文链接
图1.基于随机电阻阵列的回声状态图神经网络学习过程的软-硬协同设计
图2.采用ESGNN实现MUTAG数据集的分子图分类
入选当期封面文章
营业执照公示信息