国家队！国家超算天津中心发布中文大语言模型

点击维科网电子工程→ 主页右上角 → 设为星标

5月18日，2023第七届世界智能大会于国家会展中心（天津）正式开始。而天河新一代超级计算机是中国新一代百亿亿次超级计算机，也在此次展会迎来首次亮相。

同时，为充分发挥超算在算力方面的优势，推动国产异构超级计算机平台在AI应用开发和服务领域中的应用。

国家超算天津中心在大会上发布了“天河E级智能计算开放创新平台”和“天河天元大模型”。

国家超级计算天津中心党组书记、应用研发首席科学家孟祥飞说，国家超算天河团队与信创海河实验室、天津大学、国防科大团队，共同致力于打造国产超级算力和智能算力底座，构建高标准大规模的中文数据集，通过国产中文大模型的研发和设计来支撑智能科技的创新。

据介绍，中文大语言模型的数据集非常稀缺。国家超算天津中心搜集整理了网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据，以及专业领域的中医、医药、问诊、法律等多种数据集。

训练数据集总token数达到350B，最终训练打造出了自己的中文语言大模型——天河天元大模型。

行业大模型就是在基础大模型上，进一步融合行业数据、知识以及专家经验，提升大模型对行业应用的适配性。大模型“预训练+精调”等模式带来了新的标准化AI研发范式，实现AI模型在更统一、简单的方式下规模化生产。这将会带来一场通用人工智能为驱动力的“AI革命”。

天河新一代超级计算机是中国新一代百亿亿次超级计算机，也在此次展会迎来首次亮相。多年来，天河超级计算机从千万亿次到百亿亿次（新一代超级计算机非天河一号，其系统双精度浮点峰值计算性能达 200P Flops、数据存储能力不低于 20PB、峰值功耗不高于 8 兆瓦，比“天河一号”算力提高了 150 倍），不断挑战世界算力速度极限，而天津依托天河占据了全国超过 20% 的超级计算算力资源。

眼下正在快速兴起的智能计算，特别是大模型带来的智能计算需求，对高精度计算的要求并不强烈。比如文本生成等，主要做的是特征提取、逻辑判断，就带来了一个新的计算范式的需求，即“低精度智能计算”。

于是在新一代超级计算机中，天河团队首次提出了柔性体系结构，就是在支持高性能计算、超级计算、科学工程计算的同时，也适配智能计算，支持世界领先的双精度、单精度、半精度融合计算输出能力。

“天河 E 级智能计算开放创新平台”将带来突破百亿亿次的跨模态的超级计算算力，支撑传统的科学工程计算，并服务智能混合计算，打造全方位的算力赋能创新和数字经济高质量发展载体。

未来，国家超算天津中心还将在“天河天元大模型”的基础上启动深度训练面向医疗、工业、法律等领域的专业模型。未来大模型将在深度学习平台的支撑下成为产业智能化基座。

由于微信公众平台修改了推送规则，没有加“星标★”的读者，收到的推送仅有标题和小图，或者十天半个月都无法收到最新的推送。建议读者朋友们多点击“点赞、在看、收藏”，并点击微信公众号右上角的“设为星标★”，成为常读用户。

添加小助手微信，加入电子工程行业交流群