品玩10月12日讯，微软和英伟达今天宣布了由DeepSpeed和Megatron驱动的Megatron-Turing自然语言生成模型（MT-NLG），这是迄今为止训练的最大和最强大的解码语言模型。这个模型包括5300亿个参数，与现有最大的模型GPT-3相比，参数数量是其3倍。
【 meg微软和NVIDIA共同推出迄今为止训练的最大的语言模型】训练这样的大型模型涉及各种挑战，沿着所有的人工智能轴线进行了许多创新和突破。例如，通过紧密合作，英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合，实现了前所未有的训练效率。
微软与NVIDIA建立了高质量的自然语言训练语料库，其中包含数千亿个标记，并共同开发了训练配方，以提高优化效率和稳定性。

文章插图

• 微信又出新功能，事关支付限额
• 微信又放大招！孩子乱支付难了
• 微信阅读口袋电子书599元
• 微信更新正式版！“清理缓存”功能变强，小程序终于能分享到朋友圈
• HH47X、H47XF、HDH47X重锤微阻缓闭蝶式缓冲止回阀工作原理
• 科学家：人类只是一片巨大的“空洞虚无”中的一粒微尘！
• 物联网|微信iOS版8.0.24正式发布：iOS16闪退问题已解决，并有新功能
• 微信|终于！微信可以分组了！
• 微信|微信官宣：新增2大重要新功能，1个好评如潮，1个遭网友集体吐槽
• QQ 账号大规模被盗，官方回应来了！