王仲远认为，未来，大模型将以数字智能体的形态与智能硬件领悟，以具身智能的形态从数字天下进入物理天下，同时，大模型这一技能手段可为科学研究供应新的知识表达范式，加速人类对微不雅观物理天下规律的探索与研究打破，不断趋近通用人工智能的终极目标。
一、智源措辞大模型
环球首个低碳单体稠密万亿措辞模型Tele-FLM-1T
针对大模型演习算力花费高的问题，智源研究院和中国电信人工智能研究院（TeleAI）基于模型成长和丢失预测等关键技能，联合研发并推出环球首个低碳单体稠密万亿措辞模型 Tele-FLM-1T。该模型与百亿级的52B版本，千亿级的102B版本共同构成Tele-FLM系列模型。
Tele-FLM系列模型实现了低碳成长，仅以业界普通演习方案9%的算力资源，基于112台A800做事器，用4个月完成3个模型总计2.3Ttokens的演习，成功演习出万亿稠密模型Tele-FLM-1T。模型演习全程做到了零调度零重试，算力能效高且模型收敛性和稳定性好。目前，TeleFLM系列模型已经全面开源了52B版本，核心技能（成长技能、最优超参预测）、演习细节（loss曲线、最优超参、数据配比和Grad Norm等）均开源，期望技能开源可以对大模型社区产生有益促进。Tele-FLM-1T版本即将开源，希望可以为社区演习万亿稠密模型供应一个精良的初始参数，避免万亿模型演习收敛难等问题。
Tele-FLM-52B 版本开源地址 https://huggingface.co/CofeAI/Tele-FLM
Tele-FLM-Chat 试用（纯模型单轮对话版）地址https://modelscope.cn/studios/FLM/ChatFLM
在根本模型的性能方面：BPB 显示，英文能力上，Tele-FLM-52B靠近Llama3-70B，优于 Llama2-70B和Llama3-8B；中文能力上，Tele-FLM-52B 为开源最强，优于 Llama3-70B 和 Qwen1.5-72B。在对话模型性能方面：AlignBench评测显示，Tele-FLM-Chat（52B）已经达到GPT-4 中文措辞能力的96%，总体能力达到GPT-4 的80%。
通用措辞向量模型BGE系列
针对大模型幻觉等问题，智源研究院自主研发了通用语义向量模型BGE（BAAI General Embedding）系列，基于检索增强RAG技能，实现数据之间精准的语义匹配，支持大模型调用外部知识。自2023年8月起，BGE模型系列先后进行了三次迭代，分别在中英文检索、多措辞检索、风雅化检索三个任务中取得了业内最佳的表现，综合能力显著优于OpenAI、Google、Microsoft、Cohere等机构的同类模型。目前，BGE模型系列下载总量位列国产AI模型首位，并被HuggingFace、Langchain、Llama Index等国际主流AI开拓框架以及腾讯、华为、阿里、字节、微软、亚马逊等紧张云做事供应商集成，对外供应商业化做事。
二、智源多模态大模型
原生多模态天下模型Emu 3
行业现有的多模态大模型多为对付不同任务而演习的专用模型，例如Stable Diffusion之于文生图，Sora之于文生视频，GPT-4V之于图生文。每类模型都有对应的架构和方法，例如对付视频天生，行业普遍参照Sora选择了DiT架构。但是现有模型的能力多为单一分散的能力组合，而不是原生的统一能力，例现在朝Sora还做不到图像和视频的理解。
为了实现多模态、统一、端到真个下一代大模型，智源研究院推出了Emu3原生多模态天下模型。Emu3采取智源自研的多模态自回归技能路径，在图像、视频、笔墨上联合演习，使模型具备原生多模态能力，实现了图像、视频、笔墨的统一输入和输出。Emu3从模型演习开始便是为统一的多模态天生和理解而设计的，目前具备天生高质量图片和视频、续写视频、理解物理天下等多模态能力。大略来说，Emu3既统一了视频、图像、笔墨，也统一了天生和理解。值得把稳的是，Emu3在持续演习中，经由安全评估之后将逐步开源。
轻量级图文多模态模型系列Bunny-3B/4B/8B
为适应智能端侧的运用，智源研究院推出了轻量级图文多模态模型系列 Bunny-3B/4B/8B，该模型系列采取灵巧架构，可支持多种视觉编码器和措辞基座模型。多个榜单的综合结果表明，Bunny-8B 的多模态能力可达到 GPT-4o 性能的 87%。目前，Bunny 模型参数、演习代码、演习数据已全部开源。
开源地址：https://github.com/BAAI-DCAI/Bunny
三、智源具身大模型
智源研究院具身智能创新中央在机器人泛化动作实行和智能大小脑决策掌握等方面取得了多项天下级打破性成果。
环球领先真机实验成功率打破95% 的泛化抓取技能ASGrasp
在具身智能通用抓取能力方面，针对跨任意形状和材质的泛化难题，智源率先打破95%的真机实验成功率，从而实现了环球领先的商业级动作实行水平。借助这项技能，纵然在繁芜光芒透射、反射的情形下，我们的机器人依然能够准确感知包括透明、高反光物体的形状和姿态，并预测出高成功率的抓取位姿。
分级具身大模型系统之能反思、可随机应变的铰接物体操作大模型系统SAGE
在分级具身大模型系统方面，智源研发了能够从失落败中重思考、再考试测验的铰接物体操作大模型系统SAGE。该系统有效结合了三维视觉小模型对空间几何的精确感知能力和通用图文大模型的通用物体操作知识，使大模型驱动的机器人能够在任务实行失落败时重新思考并再次考试测验新的交互办法，实现了传统机器人技能无法企及的智能性和鲁棒性。
分级具身大模型系统之环球首个开放指令六自由度拿取放置大模型系统Open6DOR
在分级具身大模型系统方面，智源还研发了环球首个能做到开放指令掌握六自由度物体拿取放置的大模型系统Open6DOR。该系统不仅像谷歌RT系列大模型一样按照自然措辞指令中的哀求将物体放到指定位置，还能够进一步对物体的姿态进行风雅化掌握。该项技能极大地提高了具身操作大模型的商业运用范围和代价。
环球首个端到端基于视频的多模态具身导航大模型NaVid
在面向技能结局的端到端具身大模型层面，智源发布了环球首个端到端基于视频的多模态具身导航大模型NaVid。该模型可直接将机器人视角的视频和用户的自然措辞指令作为输入，端到端输出机器人的移动掌握旗子暗记。不同于以往的机器人导航技能，NaVid无须建图，也不依赖于深度信息和里程计信息等其他传感器旗子暗记，而是完备依赖机器人摄像头采集的单视角RGB视频流，并在只利用合成导航数据进行演习的情形下，通过Sim2Real的办法，实现在真实天下室内场景乃至是室外场景的zero-shot真机泛化，是一项年夜胆而成功的前沿技能探索事情。
智能心脏超声机器人
智源研究院联合领视智远研发了环球首个智能心脏超声机器人，实现了环球首例真人身上的自主心脏超声扫查，可办理心脏B超年夜夫紧缺，诊断准确率不高，标准化欠缺，效率低的难题。基于超声影像和机器臂的受力信息，智能心脏超声机器人可在高速动态环境下，快速打算，提取心脏特色，实现了相称于自动驾驶L2、 L3 级的智能化水平。临床验证结果显示，准确性上，智能心脏超声机器人能和高年资年夜夫保持同等；稳定性上，智能心脏超声机器人更高；舒适性上，智能超声机器人的力度可以掌握在 4 牛以内，更舒适；效率上，智能超声机器人实验机可与人类年夜夫持平。
通用打算机掌握框架Cradle
为实现通用打算机掌握，智源研究院提出了通用打算机掌握框架Cradle，让智能体像人一样看屏幕，通过鼠标、键盘完成打算机上的所有任务。Cradle 由信息网络、自我反思、任务推断、技能管理、行动操持以及影象模块等 6 个模块组成，可进行“反思过去，总结现在，方案未来”的强大决策推理。不同于业界其他方法，Cradle不依赖任何内部API实现了通用性。目前，智源研究院与昆仑万维研究院等单位互助，在荒野大镖客、星露谷物语、城市天涯线、当铺人生4款游戏，以及Chrome、Outlook、飞书、美图秀秀以及剪映5种软件上，对Cradle进行了验证。智能体不仅可以根据提示自主学习玩游戏，还能对图片、视频进行有想象力的编辑。
未来，智源将依托多模态大模型技能上风资源，联合北大、清华、中科院等高校院所，银河通用、加速进化等家当链高下游企业，培植具身智能创新平台，重点开展数据、模型、场景验证等研究，打造具身智能创新生态。
四、智源生物打算大模型
全原子生物分子模型OpenComplex 2
此外，智源研究院，还探索了天生式人工智能运用于分子生物学中的运用。智源研究院研发的全原子生物分子模型OpenComplex 2，是天下领先的大分子构造预测模型，能有效预测蛋白质、RNA、DNA、糖类、小分子等复合物。在生物分子构造预测领域国际竞赛CAMEO（Continous Automated Model EvaluatiOn）中，OpenComplex 连续2年稳居赛道第一，并得到了CASP（Critical Assessment of Techniques for Protein Structure Prediction）15的RNA自动化赛道预测冠军。
OpenComplex 2 是基于全原子建模的生命分子根本模型，科研职员创造不仅可以预测大分子的稳定构造，还初步具备预测分子多构型以及折叠过程的能力。基于这样的能力，生命科学家可以进一步探索蛋白质的生物学功能。目前，智源已和研究伙伴在多项主要疾病上展开了研究，供应成药性和分子机理研究。未来，基于OpenComplex的能力，我们有望能够开启生命科学研究的新纪元，为进一步揭示如HIV病毒、神经元等繁芜生命机理供应新的可能。
环球首个实时孪生心脏打算模型
智源研究院构建了环球首个实时孪生心脏打算模型，可实现高精度的条件下生物韶光/仿真韶光比小于1，位于国际领先水平。
实时心脏打算模型是虚拟心脏科学研究的开端，是孪生心脏走向临床运用的根本。基于这一模型，智源将创新性地采取物理-数据双驱动模型，领悟第一性事理和人工智能方法，从亚细胞级、细胞级、器官级、躯干级仿真出一个“透明心脏”，且能根据患者的临床数据，构建出反响患者的个性化生理病理的孪生心脏，从而进行药物筛选、治疗方案优化、术前方案等临床运用。
目前，智源与北医一院共同成立了“北京大学第一医院-北京智源人工智能研究院心脏AI 联合研究中央”，正在开展基于超声影像的急性心肌梗去世诊断、心衰的病理仿真、肾动脉造影等课题，与安贞医院互助进行室速疾病的无创心外膜标测技能的前沿研究，与斯高电生理研究院开展药物筛选平台的开拓与运用以及与清华长庚医院和朝阳医院互助开展肥厚性心肌病课题。
智源研究院作为创新性研究机构，引领人工智能前沿技能的发展，也发挥第三方中立、非营利机构的上风，搭建公共技能基座，办理当前家当的痛点。
FlagOpen大模型开源技能基座2.0，模型、数据、算法、评测、系统五大版图布局升级
为帮助环球开拓者一站式启动大模型开拓和研究事情，智源研究院推出了面向异构芯片、支持多种框架的大模型全栈开源技能基座FlagOpen 2.0，在1.0的根本上，进一步完善了模型、数据、算法、评测、系统五大版图布局，旨在打造大模型时期的Linux。
FlagOpen 2.0可支持多种芯片和多种深度学习框架。目前，开源模型环球总下载量超 4755 万次，累计开源数据集 57 个，下载量近9万次，开源项目代码下载量超 51 万次。
开源地址：https://github.com/FlagOpen
一、支持异构算力集群的大模型“操作系统”FlagOS
为知足不断攀升的大模型演习和推理打算需求，应对大规模AI系统和平台面临的集群内或集群间异构打算、高速互联、弹性稳定的技能寻衅，智源研究院推出了面向大模型、支持多种异构算力的智算集群软件栈 FlagOS。FlagOS领悟了智源长期深耕的面向多元AI芯片的关键技能，包括异构算力智能调度管理平台九鼎、支持多元AI异构算力的并行训推框架FlagScale、支持多种AI芯片架构的高性能算子库FlagAttention和FlagGems，集群诊断工具FlagDiagnose和AI芯片评测工具FlagPerf。FlagOS犹如“操作系统”一样，集异构算力管理、算力自动迁移、并行演习优化、高性能算子于一体。向上支撑大模型演习、推理、评测等主要任务，向下管理底层异构算力、高速网络、分布式存储。目前，FlagOS已支持了超过50个团队的大模型研发，支持8种芯片，管理超过4600个AI加速卡，稳定运行20个月，SLA超过99.5%，帮助用户实现高效稳定的集群管理、资源优化、大模型研发。FlagOS的推出将为中国新一代智算中央的培植供应助力，显著提升智算集群的能力水平，加速大模型家当的发展。
二、首个千万级高质量开源指令微调数据集 InfinityInstruct
高质量的指令数据是大模型性能的“养料”。智源研究院发布首个千万级高质量开源指令微调数据集开源项目，首期发布经由验证的300万条中英文指令数据，近期将完成千万条指令数据的开源。智源对现有开源数据进行领域剖析，确保合理类型分布，对大规模数据进行质量筛选保留高代价数据，针对开源数据缺少的领域和任务，进行数据增广，并结合人工标注对数据质量进行掌握，避免合成数据分布偏差。当前开源的300万条指令数据集已经显示出超越Mistral、Openhermes等的SFT数据能力。我们期待在提升到千万级数据量级后，基座模型基于该指令微调数据集进行演习，对话模型能力可达GPT-4 水平。
三、环球最大的开源中英文多行业数据集IndustryCorpus
为加速推进大模型技能的家当运用进程，智源研究院构建并开源了IndustryCorpus中英文多行业数据集，包含总计3.4TB预演习数据集，个中中文1TB，英文2.4TB，覆盖18类行业，分类准确率达到80%，未来操持增加到30类。
智源通过构建多行业数据算子，演习行业分类和质量过滤模型，实现高效的高质量预演习数据处理流程，并提出了一套提升精调数据集问题繁芜度、解答思维链和多轮问答质量筛选的方法，处理预演习、SFT和RLHF数据。
为验证行业数据集的性能表现，智源演习了医疗行业示范模型，比拟连续预演习前的模型，客不雅观性能总体提升了20%，而经由我们制作的医疗SFT数据集和DPO数据集的精调演习，相对参考答案的主不雅观胜率达到82%，5分制多轮对话能力CMTMedQA评分达到4.45。
行业预演习数据集：https://data.baai.ac.cn/details/BAAI-IndustryCorpus
医疗示范模型地址：https://huggingface.co/BAAI/AquilaMed-RL
医疗示范模型SFT数据集地址：https://huggingface.co/datasets/BAAI/AquilaMed-Instruct
医疗示范模型DPO数据集地址：https://huggingface.co/datasets/BAAI/AquilaMed-RL
四、支持多元AI异构算力的并行演习框架FlagScale实现首次打破
FlagScale首次在异构集群上实现不同厂商跨节点RDMA直连和多种并行策略的高效稠浊演习，成为业界首个在多元异构AI芯片上同时支持纵向和横向扩展两阶段增长模式的演习框架。
FlagScale支持措辞及多模态模型的稠密及稀疏演习，可实现1M长序列大规模稳定演习和推理；支持基于国产算力的8x16B千亿参数MoE措辞大模型1024卡40天以上的稳定演习，实现端到真个演习、微调与推理支配；支持不同架构的多种芯片合池演习，基于业界领先的异构并行策略，可达到85%以上的稠浊演习性能上界，与同构芯片的模型演习效果同等；适配8款国内外不同芯片，可在不同集群进行规模演习验证，实现Loss逐位与收敛曲线严格对齐。
五、面向大模型的开源Triton算子库
为更好地支持多元AI芯片统一生态发展，智源研究院推出了面向大模型的开源Triton算子库，包括首个通用算子库FlagGems和大模型专用算子库FlagAttention，可基于统一开源编程措辞，大幅提升算子开拓效率，同时，面向多元芯片共享算子库。
目前主流措辞和多模态模型须要的127个算子，通用算子库FlagGems已覆盖66个，估量2024年底实现全覆盖。大模型专用算子库FlagAttention，包含6种高频利用的且紧跟算法前沿的最新Attention类算子，为用户供应编程范例，可自定义算子。
运用了专为 pointwise 类别的算子设计的自动代码天生技能，用户只需通过简洁的打算逻辑描述，即可自动天生高效的 Triton 代码。该技能目前已经运用于31个pointwise类算子，占算子库整体的47%。同时，基于运行时优化技能，算子运行速率提升70%，保障了算子高性能。
六、FlagEval大模型评估全面升级
打造丈量大模型能力高峰的“尺子”乃是充满寻衅的科研难题。智源秉持科学、威信、公道、开放原则，不断推动评估工具和方法的迭代优化。FlagEval大模型评估自2023年发布以来，已从紧张面向措辞模型扩展到视频、语音、多模态模型，实现多领域全覆盖，采取主不雅观客不雅观结合以及开卷闭卷综合的稽核办法，首次联合威信教诲部门开展大模型K12学科测验，与中国传媒大学互助共建文生视频模型主不雅观评价体系。智源研究院已与全国10余家高校和机构互助共建评测方法与工具，探索基于AI的赞助评测模型 FlagJudge，打造面向大模型新能力的有寻衅的评测集，包括与北京大学共建的HalluDial幻觉评测集、与北师大共建的CMMU多模态评测集、多措辞跨模态评测集MG18、繁芜代码评测集TACO以及长视频理解评测MLVU等，个中与北京大学共建的HalluDial是目前环球规模最大的对话场景下的幻觉评测集，有18000多个轮次对话和14万多个回答。
智源研究院牵头成立了IEEE大模型评测标准小组P3419，与hugging face社区互助发布多个榜单，并将前辈的评测数据以及裁判模型与新加坡IMDA互助，共同贡献到AI Verify Foundation，以促进在大模型评估方法和工具上的国际互助。
新京报贝壳财经 陈维城
编辑 岳彩周
校正 卢茜
