首页 » 科学 » 国产大年夜模型ChatGLM3宣告:用华为芯片推理速度提升超3倍多能力对标GPT-4V_模子_基座

国产大年夜模型ChatGLM3宣告:用华为芯片推理速度提升超3倍多能力对标GPT-4V_模子_基座

南宫静远 2024-10-24 21:12:32 0

扫一扫用手机浏览

文章目录 [+]

钛媒体App获悉,10月27日下午举行的中国打算机大会(CNCC2023)一场论坛上,阿里、腾讯投资的人工智能(AI)独角兽公司智谱 AI 正式发布全新自研的第三代基座大模型ChatGLM3系列。

新的ChatGLM3包括ChatGLM3-1.5B(15亿)、3B和6B参数三种,不仅在多模态理解、代码模块、网络搜索等能力上有所提升,而且相对最佳开源模型推理速率提升2-3倍。
同时,基于集成自研AgentTuning技能,在智能方案和实行上比ChatGLM-2提升1000%。
其余,ChatGLM3还利用华为昇腾生态,使算力推理速率提升3倍以上。

国产大年夜模型ChatGLM3宣告:用华为芯片推理速度提升超3倍多能力对标GPT-4V_模子_基座 国产大年夜模型ChatGLM3宣告:用华为芯片推理速度提升超3倍多能力对标GPT-4V_模子_基座 科学

智谱 AI CEO张鹏表示,最新的自研模型ChatGLM3便是瞄准GPT-4V(多模态版的GPT-4)的跨模态能力,是ChatGLM全新一代的技能升级。

国产大年夜模型ChatGLM3宣告:用华为芯片推理速度提升超3倍多能力对标GPT-4V_模子_基座 国产大年夜模型ChatGLM3宣告:用华为芯片推理速度提升超3倍多能力对标GPT-4V_模子_基座 科学
(图片来自网络侵删)

“对标OpenAI是智谱 AI 成立以来的目标。
智谱 AI 致力于让机器像人一样思考,我们希望利用ChatGLM3通用基座模型能力,与互助伙伴一起共同的支撑千行百业,进入天生式 AI‘第二阶段’。
”张鹏称。

据悉,智谱 AI 成立于2019年,脱胎于清华大学打算机系知识工程研究室团队,是清华大学知识成果转化的创业公司,瞄准 AI 大模型研发落地,公司CEO张鹏毕业于清华打算机系,总裁王绍兰为清华创新领军博士,清华大学打算系教授唐杰也参与研发中国最大规模预演习模型悟道2.0。

2020年,智谱AI 开始GLM预演习架构的研发,并演习了100亿参数模型GLM-10B;2021年利用MoE架构成功演习出万亿稀疏模型;2022年公布1300亿级超大规模预演习通用模型GLM-130B,并以此打造大模型平台及产品矩阵。

2023年,智谱AI 推出千亿基座的对话模型ChatGLM,并开源单卡版模型ChatGLM-6B等,支配于个人开拓者和企业运用领域。
今年6月,智谱AI 迭代出ChatGLM2,包括6B、130B、12B(120亿参数)、32B、66B等参数的模型,推理速率增长42%。
据张鹏透露,比较GPT-4版的ChatGPT,ChatGLM2-12B、32B和66B性能分别提升16%、36%和280%。

当前,智谱 AI 开源模型在环球下载量已超过1000万次。
同时,该公司也进行商业化探索,打造AIGC(天生式 AI)模型及产品矩阵,包括已获批上线的智谱清言、高效率代码模型CodeGeeX等。

融资方面,创立至今的四年多,智谱AI 共完成四轮融资。
10月20日,智谱 AI 宣告年内累计融资额超过25亿元公民币,投资方包括社保基金中关村落自主创新基金(君联成本为基金管理人)、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构,而君联成本等部分老股东跟投,华兴成本担当独家财务顾问。

截至目前,智谱 AI 公司估值已超过100亿元,是海内 AI 领域独角兽企业。
公司称,上述融资将用于基座大模型的进一步研发,更好地支撑行业生态。

这次,智谱 AI 发布的最新ChatGLM3通用基座大模型,在性能、推理、算力、Agent智能体能力、API商业化等方面均有提升。

个中,性能方面,ChatGLM3-6B在44个中英文公开数据集测试中海内同尺寸模型排名首位,比较ChatGLM2-6B,多个排名提升33%以上,GSM8K基准提升179%;推理方面,相较于目前伯克利大学开源的vLLM,速率提升2-3倍,推理本钱降落一倍。

同时,新的模型还集成自研AgentTuning技能,激活模型智能体能力,在智能方案和实行方面比ChatGLM2提升1000%,支持工具调用、代码实行、游戏、数据库操作、知识图谱搜索与推理、操作系统等繁芜场景,最新AgentBench基准测试上ChatGLM3-turbo和GPT-3.5靠近;国产算力层面,以昇腾生态为例,ChatGLM3推理速率提升达3倍之多。

而在模型尺寸上,ChatGLM系列首次增加1.5B、3B这类小参数模型/张鹏称,紧张缘故原由是用户需求和算力本钱之间的平衡,而且支持国产芯片的边缘侧模型ChatGLM3-1.5B可在条记本电脑、手机、汽车等场景支配,速率达20 Tokens/s,精度上1.5B和3B模型与ChatGLM2-6B模型性能靠近。

现场演示中,对标ChatGPT、基于ChatGLM3的 AI 谈天机器人平台“智谱清言”,如今不仅可以实现表格天生柱状图、折线图,而且还可以得到实时新闻搜索数据、看蔬菜写菜谱以及代码天生函数等能力。

然而,钛媒体App也创造,在比如“用代码画心形”这类问题上,智谱清言仍存在一定的输出错误等幻觉问题。

其余,在To B企业端方面,智谱AI 供应的 API 开放平台支持开放模型、专属模型、本地化私有模型支配方案,帮助企业去构建自主可控大模型。
同时,ChatGLM3 开拓平台从三种量级整合为ChatGLM3-turbo,只供应一个标准 API模型方案,整体价格降落50%。

“这(ChatGLM3模型价格)达到海内最低,乃至在全天下范围之内大模型 API 售价最低的水平线。
”张鹏表示。

据钛媒体App理解,目前智谱 AI 公司紧张发卖三类技能产品:数字人SaaS/PaaS方案,科技情报SaaS/PaaS方案,以及包括ChatGLM系列在内的认知大模型PaaS/MaaS平台方案。

张鹏透露,目前智谱 AI GLM大模型已经运用于政务、金融、能源、制造、医疗等领域,支持华为昇腾、神威超算、海光DCU等10余种国产硬件生态,互助伙伴包括阿里、腾讯云、火山引擎、华为、美团、微软、OPPO、海天瑞声等数十家公司。

(本文首发钛媒体App,作者|林志佳)

标签:

相关文章

芯片的翻新和造假人被坑麻了_假货_芯片

但是在做样品测试的时候常常会碰着某些元器件的造假,有一定的困扰,最常见的便是电容。有碰着过铝电解电容是空壳的情形,也有劣质瓷片电容...

科学 2025-01-05 阅读0 评论0

C语言文本框,编程之美,从基础到方法

在计算机科学领域,C语言是一门经典的编程语言。它具有简洁、高效、易学等特点,广泛应用于操作系统、嵌入式系统、数据库等领域。本文将围...

科学 2025-01-05 阅读0 评论0