即时新闻

中国工程院院士高文:

下一代鹏城云脑即将推出 训练万亿级参数大模型

来源:羊城晚报     2024年10月18日        版次:A02    栏目:    作者:黎秋玲、陈晓楠

     高文

  

  “这个奖项,是对国产超算平台的认可、对国家科技发展战略的支持和肯定,也是对团队工作的肯定。”此次中国工程院院士、鹏城实验室主任高文团队的“国产E级高性能人工智能算力平台”项目荣获科技进步奖特等奖,他在接受羊城晚报记者采访时如是说。

  高文介绍,为解决AI芯片关键制约问题、建设国产人工智能大科学装置,项目开展了基于国产NPU的E级智能计算架构与关键技术攻关,研制了首个全国产E级智算平台——鹏城云脑Ⅱ,研发了全链条智算基础软件栈,解决了中端GPU生态的国产替代问题,其已训练AI大模型突破千亿参数。

  鹏城实验室网络智能研究部副主任、北京大学深圳研究生院信息工程学院院长田永鸿进一步介绍,鹏城云脑Ⅱ主要是针对高性能芯片设计和研制的国产算力平台,旨在提升整机的处理能力,弥补单一芯片性能不足问题,降低系统功耗,满足日益增长的人工智能技术发展对算力的需求。

  田永鸿还介绍,鹏城云脑Ⅱ有效支撑了金融、网络空间博弈对抗等重大需求,迄今已支持深圳市和各类用户的上千个AI大模型训练任务。项目还首创了可推广可复制的大规模国产智算方案,带动武汉等地25个智算中心建设,总算力投资超118亿元。“(我们)基于鹏城云脑Ⅱ,事实上带动了国内一半多的国产智算中心建设。”田永鸿说。

  “当然,我们也在国家的大力支持下,建设更大规模的集群,即采用更先进的芯片,持续在大模型训练的基础设施和智能算力平台方面继续引领、带动国内的相关工作。”鹏城实验室智能计算研究部主任、清华大学计算机科学与技术系教授陈文光如是说。

  谈及下一步的工作,高文表示,鹏城实验室主要在网络通信方面做工作,这方面,深圳有华为、中兴通讯等相关企业。高文还透露,下一代鹏城云脑的算力将达到16000P,约为云脑Ⅱ的16倍,可用于万亿级参数的多模态大模型训练,预计在今年底或明年初建成。

  团队也就广东的科研环境和科创空间建设提出建议。“我们希望,将来能有更多与深圳本地中小企业互动的机会,希望政府能搭建桥梁,让互动渠道更通畅。”高文说。