gpu|仅用480块GPU就跑出万亿参数！达摩院发布全球首个“低碳版”巨模型M6

文章插图

AI科技评论报道
编辑 | 陈大鑫

文章插图

身为一名「钢铁直男」，我想每天都穿新款的换着花样来的卡通男士连衣裙
那不如让 AI 模型来帮忙生成吧：

文章插图

风格可盐可甜，还可搞怪，不错嘛，满足了老夫一把少女心
这个 AI 模型还能干啥？
大家都知道此前OpenAI的 DALL·E 模型也可以生成图片，但是清晰度只有256×256，而这个 AI 模型则将图片生成清晰度提升至1024×1024！
这个模型还可以生成高清服装设计图的示例，其设计和图案均为AI创作：
那这么厉害的 AI 模型是如何训练出来的呢？
答案很简单，仅仅使用480块GPU！
即能训练出规模达人类神经元10倍的万亿参数多模态大模型，且与英伟达、谷歌等海外公司实现万亿参数规模相比，能耗降低超八成、效率提升近11倍。
没错，这就是今日阿里巴巴达摩院发布的“低碳版”巨模型M6，它在全球范围内首次大幅降低了万亿参数超大模型训练能耗，更加符合业界对低碳、高效训练AI大模型的迫切需求。
大模型将成下一代人工智能基础设施，这在AI圈内已成为共识。与生物体神经元越多往往越聪明类似，参数规模越大的AI模型，往往拥有更高的智慧上限，训练大模型或将让人类在探索通用人工智能上更进一步。然而，大模型算力成本也相当高昂，很大程度阻碍了学界、工业界对大模型潜力的深入研究。
针对这一难题，达摩院联合阿里云机器学习PAI平台、EFLOPS计算集群等团队改进了MOE（Mixture-of-Experts）框架，创造性地通过专家并行策略，大大扩增了单个模型的承载容量。同时，通过加速线性代数、混合精度训练、半精度通信等优化技术，达摩院团队大幅提升了万亿模型训练速度，且在效果接近无损的前提下有效降低了所需计算资源。
具体而言，相比此前英伟达使用3072 A100 GPU实现万亿参数、谷歌使用2048 TPU实现1.6万亿参数大模型，此次达摩院仅使用480卡V100 32G GPU就实现了万亿模型M6，节省算力资源超80%，且训练效率提升近11倍。
今年3月，M6千亿模型发布时，OpenAI前政策主管Jack Clark公开点评道：“这个模型的规模和设计都非常惊人。这看起来像是众多中国的AI研究组织逐渐发展壮大的一种表现。”
此次，M6万亿模型又带来哪些新东西？
1 M6万亿大模型有哪些亮点？
AI大模型更低碳高效：提升了超大规模预训练模型的资源利用率与训练效率，沉淀大模型高效训练的能力。对比Nvidia(3072 A100 GPU/万亿)、Google(2048 TPU/1.6万亿)，阿里此次仅使用480卡V100 32G GPU就实现了高效的万亿M6模型的训练，能耗降低超过8成，且效率提升近11倍。
AI创造力再次升级：M6拥有超越传统AI的认知和创造能力，擅长绘画、写作、问答，在电商、制造业、文学艺术等诸多领域拥有广泛应用前景。OpenAI DALL·E生成图片清晰度达256×256，M6将图片生成清晰度提升至1024×1024。更大的模型带来了更强的创造力和可直接工业化应用的前景。
AI大模型首次商用：M6成为国内首个实现商业化落地的多模态大模型。经过一段时间的试用，M6将作为AI助理设计师正式上岗阿里新制造平台犀牛智造，通过结合潮流趋势进行快速设计、试穿效果模拟，有望大幅缩短快时尚新款服饰设计周期。M6还已应用于支付宝、淘宝等平台，参与跨模态搜索、文案撰写、图片设计等工作。
2 M6万亿模型有哪些关键技术突破？