智能无处不在:安谋科技“周易”NPU开启端侧AI新时代
在科技之光的照耀下,大模型从云端的殿堂飘然而至终端的舞台。这一历史性的跨越,不仅赋予了数据处理以迅捷之翼,更将智能体验推向了前所未有的高度。终端上的大模型以灵动的姿态,即时捕捉并回应着每一个细微的需求,将AI的触角延伸至世界的每一个角落。
近日,在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上,安谋科技产品总监鲍敏祺发表了精彩的主题演讲《端侧AI应用芯机遇,NPU加速终端算力升级》。他深入剖析了端侧AI发展的广阔前景,并详细介绍了安谋科技自研NPU的最新进展。
端侧AI正在崛起
AIGC大模型带来的算力提升是端侧AI迎来的最大机遇。鲍敏祺表示,从近期头部大厂的发布中都可以看出,端侧AI的应用已经得到了业界的一致认可。
当前,国际和国内实际部署的主流端侧大模型体量主要集中在100亿参数以下。这一限制主要是由于端侧设备的内存带宽范围通常在50-100GB/s之间。为了满足用户对应用实时性的需求,10-30亿参数的大模型最适合部署在现有的带宽条件下。这些模型能够在保持高效性能的同时,提供快速响应和高质量的服务。
头部终端厂商如OPPO、vivo、小米、荣耀和华为等,都在积极推动端侧AI的发展。他们不仅自研了适合端侧部署的大模型,还将其与具体业务场景紧密结合。芯片厂商也达成了共识,认为AI NPU(神经网络处理单元)将是未来消费类电子产品发展的重点。NPU通过专门优化的硬件架构,能够大幅提升端侧设备的AI计算能力,同时降低功耗。
尽管端侧AI的发展势头强劲,但鲍敏祺强调,这并不意味着要彻底放弃云端AI。相反,他认为两者应该实现互补,才能产生最大的收益。端侧AI的优势在于其时效性和数据本地化带来的安全性。由于数据处理发生在设备本地,用户的隐私得到更好的保护,同时也能实现实时响应。而云端AI则具备更强的推理能力和大规模数据处理能力,可以进行更复杂的任务。因此,结合端侧和云端的优势,将为用户提供更加全面和高效的AI体验。
从人机交互界面的发展历史来看,从最初的物理按键到触摸屏和语音交互,再到当前的Agent智能体,每一次变革都极大地提升了用户体验。未来的趋势将是多模态场景,即结合图像、音频、视频等多种输入方式,使设备能够更全面地理解用户的需求。通过观察和学习,未来的AI系统将能够更好地预测和满足用户的期望,从而实现真正的智能化。
以三重升级应对三重挑战
端侧AI的快速发展给硬件设备带来了三重挑战:成本、功耗和生态系统。
成本的挑战主要来自于设备的存储容量、带宽和芯片计算资源。功耗则源自对数据的大量搬运,而且大模型无法像CNN一样实现高度复用,也会大幅提升功耗。最后,开发工具的不断优化和支持也是挑战所在。
针对这些挑战,安谋科技自研的“周易”NPU围绕微架构、能效和并行处理等方面进行了升级。
微架构:鉴于CNN与Transformer的差异性,“周易”NPU在保留CNN能力的基础上,又针对Transformer进行了优化,克服了实际计算中的瓶颈。
效率:进行混合精度的量化,比如int4和fp16,在算法和工具链层面上实现低精度量化。同时,对数据进行无损压缩和改变稀疏度,从而增加有效带宽。另外,采用In-NPU interconnection技术,实现了对总线带宽的扩展。
并行处理:采用数据并行或模型并行,使用负载均衡和Tiling,减少了数据的搬运。
鲍敏祺还详细介绍了下一代的周易“NPU”架构,不仅包含了能够适应多任务场景的Task Schedule Manager,而且整个架构具备可扩展能力,并增加DRAM以实现高带宽的匹配,还增加了OCM(Optional on Chip SRAM),以支持有特殊要求的算法。
鲍敏祺在演讲中特别强调了“周易”NPU对异构计算的支持,并指出无论是从能效还是整个SoC(系统级芯片)的面积角度来看,异构计算都是端侧AI芯片的最佳选择。他解释道,面对不同的应用场景,异构计算能够实现算力的灵活裁剪,并将不必要的功耗降到最低。
跨领域的应用专家
周易“NPU”已经在多个关键领域展示了其强大的性能和灵活性,特别是在汽车应用、AI加速卡以及AIoT场景中。
在汽车应用中,不同的场景会对应不同的算力需求。如果是车载信息娱乐系统,对算力的要求不会太高,但是在ADAS应用中,很多情况下要执行多任务,对算力的要求就会大幅提升。而“周易”NPU的算力范围是20~320TOPS,可以根据需求裁剪出所需的算力。鲍敏祺表示,搭载了“周易”NPU的芯擎科技“龍鷹一号”已累计出货超过40万片,并成功定点应用于吉利旗下的领克、银河系列以及一汽红旗等20余款主力车型中。
在AI加速卡的应用中,周易“NPU”能够与智能汽车、PC、机器人等不同类型的主机处理器(Host AP)进行高效交互,处理音频、图像、视频等多种数据形式。这种多模态模型的支持能力使得周易“NPU”能够在复杂的数据环境中保持高性能和灵活性。在AIoT场景中,设备通常受到面积和功耗的严格限制。尽管如此,周易“NPU”仍能提供高效的算力支持,同时保证高度的安全性。这使得它成为多个应用场景的理想选择。
鲍敏祺最后表示,下一代周易“NPU”将会继承并显著增强前代产品的强算力、易部署以及可编程等特点和优势,并围绕精度、带宽、调度管理、算子支持等多个方面进行持续优化。同时,NPU不仅要考虑适配现在的存储介质,还要考虑到对未来各种存储介质的适配,使得NPU能够更好地满足当前及未来市场需求。
- •安森美荣获2024年亚洲金选车用电子解决方案供应商奖及年度最佳功率半导体奖2024-12-06
- •大联大品佳集团推出基于联发科技产品和ChatGPT功能的AI语音助理方案2024-12-05
- •X-FAB推出基于其110nm车规BCD-on-SOI技术的嵌入式数据存储解决方案2024-12-05
- •艾迈斯欧司朗光子创新:利用多光谱传感技术减少食物浪费2024-12-04
- •Vishay推出性能先进的新款40 V MOSFET2024-12-04
- •大联大世平集团推出基于瑞芯微产品的低功耗AOV IPC方案2024-12-03
- •摩尔斯微电子推出突破性物联网连接平台2024-12-03
- •艾迈斯欧司朗和弗劳恩霍夫研究团队凭借“数字之光”项目荣获“德国未来奖”2024-11-29
- •Melexis推出安装灵活便捷的全新磁性数字编码器2024-11-29
- •摩尔斯微电子任命大石义和为副总裁兼日本区总经理2024-11-29