gpu|仅用480块GPU就跑出万亿参数！达摩院发布全球首个“低碳版”巨模型M6( 三 )

M6团队主要关注方向如下：
继续将GreenAI做到极致，让更多学者和企业能参与对下一代AI的研究、应用。
继续推进大模型应用落地，让下一代AI进入包括社会公益在内的更多领域。
优化通用模型下游任务训练，让大模型在更多任务上拥有更好表现。
探索对通用大模型的理论研究，期望揭开“How it works”。
探索大模型训练的软硬件结合，启发下一代人工智能硬件设计。
【 gpu|仅用480块GPU就跑出万亿参数！达摩院发布全球首个“低碳版”巨模型M6】今年以来，阿里在超大规模预训练模型领域屡出成果。除发布多模态巨模型M6外，阿里巴巴达摩院近期还发布了中文社区领先的语言大模型PLUG，实现了在AI大模型底层技术及应用上的深入布局。
相关技术文章参见：
M6: A Chinese Multimodal Pretrainer, KDD 2021 （千亿参数）https://arxiv.org/pdf/2103.00823.pdf
Exploring Sparse Expert Models and Beyond (万亿参数）https://arxiv.org/abs/2105.15082
由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道，请将“AI科技评论”设为星标账号在看”。