科大讯飞携手华为发布专属大模型软硬件一体机，可对标英伟达A100！

2023年08月16日

8月15日，科大讯飞在合肥举办了“讯飞星火认知大模型V2.0升级发布会”。在此次发布会上，科大讯飞与华为共同发布用于构建专属大模型的软硬件一体化设备“星火一体机”。

科大讯飞董事长刘庆峰表示，“科大讯飞和华为已在联合攻关算力卡脖子的问题。”在单卡算力上，“星火一体机”对标英伟达A100，同时还正在和华为一道打造面向超大规模大模型训练的国产算力集群，形成集群化优势。

$C:\Users\rjzhang9\Desktop5发布会\稿件配图\CWC_0072-opq551287372.jpg$

据了解，在大模型的研发过程中，需要可以支撑千亿参数规模大模型并行训练的算力和框架，这通常需要几千张高算力的AI加速卡同时连续运行。基于此，系统架构以及并行训练的集群能力成为大模型研发的关键。

据了解，星火一体机基于华为鲲鹏CPU＋昇腾GPU，另外还采用了华为存储和网络提供整机柜方案，FP16（半精度浮点数格式）算力2.5 petaFLOPS（1 petaFLOPS为每秒运行一千万亿次浮点运算）。在大模型训练中最为流行的英伟达DGX A100，其单节点包含8块GPU，可以输出5 PetaFLOPS的FP16算力。

（星火一体机采用的昇腾芯片型号疑似为昇腾910B，性能较上一代有所提升。官网资料显示，昇腾910的FP16算力为320TFLOPS。）

据介绍，星火一体机的训练和推理一体化部署，可用于问答系统、对话生成、知识图谱构建、智能推荐等多个领域的应用，具备大模型预训练、多模态理解与生成、多任务学习和迁移等能力。

星火一体机还针对星火认知智能大模型的训练算法和推理应用进行了硬件的量身定制，可大大降低企业的使用成本。可直接提供对话开发、任务编排、插件执行、知识接入、提示工程等5种定制优化模式，以及办公、代码、客服、运维、营销、采购等10种以上即开即用的丰富场景包，支持3种模型尺寸供用户选择。

值得注意的是，上个月，科大讯飞就宣布讯飞星火将与昇腾AI联合，打造基于中国自主创新的通用智能新底座。一方面，讯飞星火认知大模型基于训练推理一体化设计，实现大模型稀疏化、低精度量化的技术突破，能高效适配昇腾AI，加速大模型的行业落地应用和迭代；另一方面，以昇腾AI为核心，软硬件协同优化，构建算力集中、性能优越、供给稳定、数据安全的大模型训练集群。

在当天的“讯飞星火认知大模型V2.0升级发布会”演讲中，刘庆峰更为细致地讲解道，“华为跟科大讯飞共同在昇腾AI的软硬件平台和软件的支撑工具上，把高算力AI芯片、高性能的算子库、多卡高速互联以及分布式存储结合起来，尤其是我们联合针对人工智能所需要的最重要的算子库进行甄别和打磨。然后在此基础上，架构科大讯飞的训练和数据闭环全流程设计，以及训练和推理一体化设计的自研大模型训练平台，中间是支持大规模的异构算力兼容，也支持混合云架构易拓展，使得我们今天所看到的讯飞星火V2.0的演示以及所有产品，架构在安全可控的平台上。”

据悉，“讯飞星火认知大模型V2.0”除了持续提升通用能力基础外，重点突破代码能力和多模态交互能力。据刘庆峰介绍，在OpenAI构建的代码能力的公开测试集HumanEval上，讯飞星火大模型V2.0基于Python和C 进行代码写作的能力接近ChatGPT水平，差距仅为1%和2%，预计将于今年10月24日全面超越ChatGPT，明年上半年将正式对标GPT-4。