
现在很多深度学习项目 , 开源是开源了 , 名义上每个人都可以训练 , 实则就好比在说 , 每个普通人都可以几年内奋斗成百万千万富翁 。 理论上人家这么说没啥可指摘的 , 开源出来的深度学习项目本来每个人都可以拿来训练的 , 而实际上则是 , 拿来训练的前提是有GPU , 也就是需要有钱 。
在大模型领域 , 没有最大 , 只有更大 。 现如今 , 十亿参数百亿参数都不值得让我们惊讶了 , 所以NLP领域再次向更高处冲锋 。 这次 , 机智客看相关资讯 , 是来自快手和苏黎世联邦理工学院研究人员的巨大成果 。 他们提出这么一个最新的也是最大的推荐系统Persia , 据称最高可支持100万亿级参数的模型训练 , 这货比目前最大的FB-ZionEX推荐系统还高出一个数量级 。
也正因为没有最大只有更大 , 为了能支持如此大的规模同时又保证效率和精度 , 此次研究成果提出了一种全新的混合训练算法:通过混合异步、同步机制对embedding层和dense层进行分别训练 。 正因为有如此算法 , 研究人员才表示 , 使用这套机制 , 任何人都可以很容易训练一个百万亿级参数量的模型 。
目前这个有论文 , 在代码托管平台也新建了项目 。 不得不说 , 现在的深度学习模型 , 已经渗入各个细分领域 , 而且在规模上 , 也是越来越大 。 推荐系统同样 , 也和其他大语言模型一样 , 类似人类万年不变的阶级思想一样 , 官大(参数量大)一级压死人 。
【陶闯|真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练】现在和未来 , 我们人人活在大模型之下 , 我们的智能生活和智能推荐 , 都受大语言模型驱动 。 虽然我们普通个体受制于数据量和GPU硬件无法训练自己的模型 , 不过大树底下好乘凉 , 预训练的大模型庇护下 , 我们每个人都会受益 , 以后可能都会被大模型和AI摸准习性 , 从而形成自己的专属模型 , 和你自己一样懂你 。
- 做一个情绪稳定的人类真的好难啊
- 芯片|小小芯片,上千万个晶体管是怎么装上去怎么工作的?人类真牛啊
- 单反|超个频谁不会啊?天玑9000+正式发布,死磕骁龙8+!
- 苹果公司|中国这家公司牛啊!“垄断”了整个行业,让苹果、三星都拿它没招
- 专利|搞什么研发啊 有倒腾专利赚钱?
- 惠普|iQOO可以啊!618论销售额OPPO都不是其对手
- 华为Nova|联想小新pro14和thinkbook14+,都是2022新款,选哪个好啊?
- 总有熊友们抱怨说那些动辄千元的耳机我买不起啊!求推荐适合吃土党、学生党的终极最具性价比的...|四款人气蓝牙耳机终极测评!从音质讲解到降噪测试
- 酷睿处理器|高配价格屠夫?12代酷睿+光追独显售价新低,这才是笔记本真卷王
- 早啊!新闻来了【2022.6.14】
