大模型时期软硬大脑——算力和模型
在这波transformer技能引起的人工智能浪潮中，很多人会把人工智能比喻成大脑，这个评价意味着人们对这次AI生产力革命的预期非常高。事实上大脑这个比喻是有道理的，上一波卷积神经网络cnn技能时模型的能力更多地是影象，即复现演习时采取数据的推理结果，而这次大模型呈现出了对知识更强的领悟，使得处理数据时具备更强的泛化能力，这为AIGC天生式人工智能这个术语的提出，奠定了根本。
不同于PC时期时我们也把CPU比喻成大脑，大模型时期的大脑由两部分组成，一个硬大脑便是芯片，包含CPU、GPU、NPU、TPU等各类打算单元，还有一个软大脑便是模型，比如我们熟知的GPT-4、LLaMA、Mistral、GLM、Qwen、Baichuan等。软硬两个大脑共同决定了一个别系的打算能力。
面向C端做事的打算系统相对大略，方向于利用统一化的高端芯片算力，以及尽可能刁悍的大参数模型。而面向B端做事的打算系统就会繁芜得多，由于更看重性价比，类似于SOC和嵌入式系统，须要为不同的客户裁剪不同的定制版本，芯片和模型都会选择更适宜自己行业场景的，而不是最优最大的。
大模型B端运用关键点
拿B端可选的模型来说，供应商大大小小几十家，模型参数从十亿到几百亿不等，各种模型在综合、学科、措辞、知识、理解、推理等方面的表现都不尽相同，很多模型都有自己善于的领域和高分的评测项目。
更进一步的，经由微调产生的行业垂类大模型，选择就更多了。还可以采取专家稠浊模型或大小模型协同的办法来构建模型矩阵。
而B端可用的芯片，目前的选项也越来越多，算力分布从数T到几百T不等。
不同的模型和不同的芯片，产生的打算性能和本钱差异非常的巨大，基本杜绝了采取固定模型固定芯片，一招鲜吃遍天的可能性。
总结来说，我们可以创造在未来几年的B端，模型、算力芯片和打算会是一种多样化的组合关系。实现模型（M）和算力芯片（N）多样化矩阵匹配和性能验证，是开展后续B端大模型孵化和运用关键第一步！
B端客户想导入AI办理方案，必须根据自身的行业场景特点，推算数据类型、并发用户数量、吞吐量、延迟等，选择可能的模型组合以及芯片组合，拼搭成打算系统后开展不同组合的性能测试和本钱评估，末了选定适宜自己的模型和芯片，批量化导入。
这里列举一个上海某工业客户的实例，此客户操持导入新的智能化系统，系统内包含生产排期调度、仓库流量剖析、运维巡检三个子场景。这三个子场景分别须要大措辞模型、视觉剖析模型、多模态剖析模型三种模型能力，故最初的设计里考虑利用三张A10加速卡的训推一体机，但本钱超过20万，比预算赶过许多。信息科有降本压力，但无从下手，直到云锦微的打算平台做事涌现，帮客户办理了这个问题。
打算平台上已经预适配了市场主流的多种大模型，以及多种国产加速芯片可供选择，可以极大地降落客户整体打算本钱。上述工业客户，在云锦微打算平台的帮助下，通过虚拟机验证各种模型和芯片的打算负荷分配，得出结论可以把14B大模型运行在单块24G A10上并支持最大16用户在线，把多模态剖析和视觉剖析运行在12G消费级显卡上，把视频流解码运行在CPU上。终极训推一体机配置确定为单张A10加一块RTX 3080TI，本钱低落一半以上。
云锦微为用户供应M x N多样化矩阵匹配做事
云锦微打算平台做事的核心技能是vt-transformer开源打算框架，由于其完全的自主知识产权、高度整体性和精简度高的特点，成为开源生态的一种精良选择，可作为英伟达、华为等闭源生态之外的有力补充。该框架的独特之处在于完备采取C++开拓，抛弃Python，易于移植和支配，看重整体优化，支持训推一体机中实现多卡混搭，支持多种量化打算、KV Cache管理等优化和实用功能。
云锦微推出的数字底座，尤其是边缘智能中枢办理方案，搭载了vt-transformer打算框架，为各种主流AI算力加速卡和开源大模型供应了全方位的支持。该办理方案已经适配了多种大模型，并在性能上取得了令人瞩目的成绩。在vt-transformer的驱动下，边缘智能中枢在T4卡上就实现了A10级别的性能，为各行各业在进行AI基建时带来了巨大的经济效益，充分发挥了算力根本举动步伐的效能。
企业开拓者可以自由选配边缘智能中枢办理方案里的训推开拓一体机，一站式完本钱身场景的模型和芯片选择和适配，节约打算本钱、开拓本钱和试错本钱，直接进入智能对话、知识检索、智能任务等运用开拓环节。
欢迎联系云锦微磋商更多优化打算本钱的话题。
