在爱芯元智于WAIC 2024举办的“芯领未来丨智能芯片及多模态大模型论坛”上,爱芯元智创始人、董事长仇肖莘在主旨演讲中表示,大模型真正大规模落地须要云边端三级紧密结合,而边侧和端侧结合的关键在于高能效的边端AI芯片。
爱芯元智创始人、董事长仇肖莘仇肖莘指出,目前基于爱芯元智AI芯片已经完成非常多款AI大模型的适配,能够支持的参数规模覆盖0.3B-7B。“搭载AI处理器的高效推理芯片将是大模型落地更合理的选择,这也是推进普惠AI的关键所在。”
爱芯智眸AI-ISP和爱芯通元NPU
在AI芯片的研发上,爱芯元智打造了广受业界认可的爱芯智眸AI-ISP和爱芯通元稠浊精度NPU两大自研核心技能。个中,爱芯智眸AI-ISP是将深度学习算法与传统的ISP处理单元相结合,利用像素级AI处理技能,在各种繁芜运用处景中,全面提升成像效果,为后期智能处理供应高质量的图像、视频素材,作为万物智能的“眼睛”感知更多信息,特殊是暗光全彩的刚需。
爱芯通元稠浊精度NPU因此算子为原子指令集的AI打算处理器,采取多线程异构多核设计,实现算子、网络微构造、数据流和内存访问优化,高效支持稠浊精度算法设计,原生支持Transformer网络构造,为大模型在边缘侧、端侧的运用供应良好的根本。
仇肖莘谈到,爱芯元智现阶段奉行以“AIoT+ADAS”为主的一体两翼计策路线,在AI大模型进入边侧和端侧的过程中,聪慧城市和智能汽车都是非常具有代表性的运用处景。“目前端侧大模型落地依然在前期探索阶段,我认为智能汽车、AI手机和AIPC将会是第一批落地的场景,智能驾驶之以是须要端侧大模型缘故原由在于汽车对实时性的哀求更高。”
爱芯智眸AI-ISP作为AI芯片的子系统,为办理很多端侧场景图像问题供应了强力支持。比如在智能驾驶场景中,爱芯智眸AI-ISP供应AI星光全彩、AI HDR成像、AI多光谱领悟、AI防抖、AI场景增强、AI多传感器领悟六大技能亮点,能够帮助智能汽车在大雨、大雾、夜间和隧道等恶劣的驾驶环境中获取清晰的图像。
当然,AI技能的发展也在推动AI-ISP的创新。以爱芯智眸AI-ISP来说,目前AI算法已经取代了降噪模块、防抖模块。仇肖莘认为,后续AI-ISP发展一个值得探索的方向是,AI-ISP是不是也能够成为一个“黑盒式”的AI大模型,用AI算法取代更多ISP中的功能单元,使得AI-ISP能够利用CMOS图像传感器的旗子暗记直接成像,让用户不必再去考虑ISP事情的中间环节。
在AI芯片的打造上,爱芯通元稠浊精度NPU的优点不但是原生支持Transformer网络构造,还包括通过可编程数据流DSA架构,能够覆盖目前用户须要的基本算子,本钱、效能和运算效率都非常高。仇肖莘说,“AI算法发展至今已经非常成熟,进入一个较为稳定的状态,因此用户对付算子的需求不再有日月牙异的变革,这是爱芯元智能够打造通用AI处理器的关键。”
根据爱芯元智联合创始人、副总裁刘建伟的先容,这次论坛上正式发布的爱芯通元AI处理器在高中低三档算力中已完成布局,并在聪慧城市和赞助驾驶两个领域实现了规模化量产,能效比较GPGPU芯片提升了一个数量级,而在以文搜图、通用检测、以图生文、AI Agent等通用大模型运用中,爱芯通元AI处理器也可以让AI开拓者以更低的本钱进行高效开拓。
爱芯元智联合创始人、副总裁刘建伟
让端侧更好地承载AI大模型
根据《2024年中国AI大模型家当发展报告》,截至2024年3月,海内支配大模型的企业数量超243家,以通用大模型为主。不过,我们都知道AI大模型成功的关键在于行业大模型、端侧、端云结合等多种模式并行。
端侧大模型的支配所面临的寻衅和云端是完备不同的,须要战胜能耗的限定,还须要在足够小的参数下,做到大部分日常事情。在WAIC 2024上,爱芯元智在自己的展台上也展示了其AI芯片在支配端侧大模型方面的能力。
案例一是基于爱芯元智端侧小芯片AX630C支配措辞大模型——阿里云通义千问Qwen2.0。AX630C供应3.2T的算力,通过运载通义千问Qwen2.0,可以流畅地实现人机对话,查询信息、日常互换等任务。AX630C运载通义千问Qwen2.0每秒能处理超过10个信息单元,但功耗只有1.5瓦。
案例二是爱芯元智端AX650N结合CLIP模型可以实现以文搜图的功能,只须要一个词、一句话或一段笔墨,系统就能迅速准确地从海量图片中找到匹配项。
案例三是基于爱芯元智端AX650N运转多模态多维感知大模型OWL-ViT大模型,精准完成对未知目标检测,实现图像自动标签化。
正如上文提到的,爱芯通元AI处理器供应完备的算子凑集,因此对付市情上的大模型能够供应非常好的支持,并且适配的速率是非常快的。比如,今年4月份,Meta发布了Meta Llama 3系列措辞模型(LLM),详细包括一个8B模型和一个70B模型。随后不久,爱芯元智就宣告,爱芯通元AI处理器完成Llama 3和Phi-3大模型适配。在Llama 3模型的适配上,爱芯元智AX650N芯片适配了Llama 3 8B Int8版本,若采取Int4量化,每秒token数还能再翻一倍,能知足正常的人机互换。仇肖莘强调,爱芯元智的AI芯片对INT2、INT4、INT8、INT16稠浊精度算力都可以支持。
AI大模型的发展已经进入一个新阶段,行业大模型以及云边端结合的大模型是下一步发展重点。在端侧运转大模型有不一样的寻衅,能耗和参数规模都会受到限定,但用户体验不能打折。爱芯通元AI处理器以及爱芯元智AX650N等AI芯片展示出了非常好的端侧大模型支持能力,在普惠AI的道路上迈出了坚实一步。
