富士通宣告了Fugaku-LLM运用Fugaku超算进行演习_富士通_日语

据TomsHardware宣布，富士通在本周发布了Fugaku-LLM，是一个具有高等日语处理能力的大型措辞模型（LLM），专为研究和商业运用而设计，个中利用了Fugaku超级打算机来进行演习。
Fugaku-LLM操持是由日本多家企业和科研院校互助推动的，包括了东京工业大学、东北大学、富士通、RIKEN、名古屋大学、CyberAgent和Kotoba Technologies等。

Fugaku-LLM具有130亿个参数，与 GPT-4的1750亿个参数比较显得要小得多。
富士通表示，Fugaku-LLM的130亿个参数不须要大量的打算资源来推理，对日本的企业和研究职员来说是最佳选择，个中大约60%的演习数据这天语，40%的数据是英语、数学和代码数据。
Fugaku-LLM有着不错的日语水平，在日语MT-Bench上得到了5.5的均匀分，其余在人文和社会科学方面尤其出色，取得了令人印象深刻的9.18分的基准成绩。

A64FX采取台积电7nm FinFET工艺制造，拥有87.86亿个晶体管，596个旗子暗记针脚，集成了52个核心，包括48个打算核心和4个一样构造的管理核心。
所有的52个核心分为四组，每组13个，共享8MB二级缓存。
每组之间的互联利用的是富士通第二代TOFU，也便是6D mesh/torus片上互联网络。
同时配置了配的32GB HBM2内存，16条PCIe Gen3通道，拥有1024 GB/s的存储带宽。
可以供应2.7 TFLOPS@64bit，21.6 TFLOPS@8bit的性能。

富士通下一代针对AI和HPC运用的Arm处理器正在开拓中，代号为“MONAKA”，以取代现有的A64FX。
其配备了大约150个增强型Armv9核心，并拥有利用加速器的能力，将供应强大的性能。