腾讯混元大模型背后机器学习平台，获中国电子学会科技进步一等奖
发布时间：2024-03-28 16:03:22 | 来源：中国网 | 作者：辛文 | 责任编辑：乔沐3月26日获悉，中国电子学会公布2023科学技术奖获奖名单，由腾讯主导，北京大学、北京科技大学共同参与的联合项目《面向大规模数据的Angel机器学习平台关键技术及应用》获科技进步一等奖。
Angel机器学习平台是支撑腾讯混元大模型的核心技术，主要目标是解决大模型海量数据训练难、架构设计难的问题，具备行业领先的硬件加速和在线推理服务能力，是打造通用人工智能不可或缺的基础平台。
腾讯 Angel机器学习平台拥有深厚的技术积累，研发过程中累计授权发明专利74项，发布国家/行业标准9项，发表高水平论文56篇，其中3篇获学术领域最佳论文奖。
由多名院士等权威专家组成的鉴定委员会认为，腾讯 Angel机器学习平台技术复杂度高、研制难度大、创新性强，应用前景广阔，整体技术达到国际先进水平，其中面向all-to-all通信的高效缓存调度与管理技术、自适应预采样与图结构搜索技术达到国际领先水平。
Angel平台架构图
当下，随着大模型参数不断增大，突破万亿级别，面对超大规模模型训练需求，腾讯Angel机器学习平台在网络通信与缓存、模型存储与调度、多模态模型与融合学习排序以及大规模图模型与结构搜索技术等核心环节取得技术突破，实现网络通信耗时减少80%，分布式训练性能达业界主流方案的2.6倍，同时，模型存储容量比业界增加1倍，训练性能是业界主流方案2倍。
易用性和开放性上，腾讯Angel机器学习平台还支持常见的TensorFlow模型和 API，同时通过技术创新降低TensorFlow中复杂的性能优化、内存管理带来的困扰。此前，Angel系统已于2017年6月在Github开源，并于2019年荣获最受欢迎中国开源软件，是国内首个Linux基金会 AI毕业项目。
腾讯 Angel机器学习平台支持了腾讯混元大模型的打造。自2023年9月亮相至今，腾讯混元通过采用混合专家模型 (MoE)结构，已将模型扩展至万亿级参数规模，实现预测性能提升和推理成本下降。作为通用模型，腾讯混元在中文表现上处于业界领先水平，尤其在数学推导、逻辑推理和多轮对话中性能表现卓越。目前，腾讯混元也在积极发展多模态模型，以进一步加强文生图和文生视频能力。
在腾讯混元大模型的训练和推理实践中，Angel机器学习平台实现大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本，升级后支持单任务万卡级别超大规模训练。在推理上，Angel机器学习平台推理速度提高了1.3倍，在腾讯混元大模型文生图的应用中，推理耗时从原本的10秒缩短至3至4秒。
除了腾讯混元大模型，Angel机器学习平台也支持了腾讯广告以及腾讯会议等产品，并通过腾讯云服务多个行业。