他们发现 , 用一种神经结构搜索方法(NAS)训练出的特定语言模型 , 可产生284吨(626155磅) , 上图)二氧化碳 , 这大约是5辆小轿车长达5年的排放总量;
而谷歌搜索引擎的基础——BERT语言模型训练 , 则产生了0.65吨二氧化碳 , Strubell提醒 , 这相当于一个乘客从纽约到旧金山往返航班的碳排放量 。
更需要注意的是 , 这些数字都应被视为“最保守数值”:只是在一次性训练中的模型成本 。
因此 , 考虑到能源效率与环境成本 , 西方不少科学家与开发者认为 , 某种程度上 , 大模型的训练开发也是在允许大型企业掠夺着环境资源 , 而这些成本 , 将会平摊在所有人身上 。 因此 , 他们并不希望企业加入到大模型队列中 。
“尽管是无意识的 , 但这只会加大对边缘人群的打击 。 ”
开源商业回报 , 巨大且无形
很多时候 , 人们会对开源模式发出这样的质疑:
有什么能比“两个来自竞争对手公司的员工 , 可以为同一个目标协作 , 还免费送出自己成果”更不可思议的事情?
譬如 , 可能连小学生都清楚的安卓系统 , 就是基于开源的Linux操作系统 。 这意味着 , 任何人都可以查看绝大多数安卓手机的核心代码 , 修改并分享它 。
事实上 , “开源”正是为不同利益群体 , 提供一种“利远大于弊”的长期技术合作方式——你增加的独特元素我能使用 , 那么我迭代的版本你也不会错过 。
这种“互利”态度 , 让看似不可思议的“协作”成为可能 , 经过100多年来的反复修正 , 早已成为一种常态 。 如今 , Linux 就是由全世界超过15000名程序员共同开发和维护 。
而在人工智能领域内 , 最有名的案例则是谷歌的深度学习开源框架Tensorflow 。 它已是开发人工智能应用程序的标准框架之一 。 非常有趣 , 当Tensorflow在2015年开源时 , 外界也是发出了跟这次Meta开源大模型同样的疑问:
作为开放者 , 谷歌为什么要放弃对自己搜索业务如此重要的东西?
一部分原因上面讲过——外部开发人员把软件做的更好 , 该软件就能适应谷歌未来商业化的很多需要 。 就像当下 , 大模型商业化还尚不明朗 , 那么前期工作的开放性与主导性 , 就变得至关重要 。
根据谷歌自己公布的数据 , 已有超过1300名外部人员在TensorFlow上帮助升级迭代 。 而完善后的Tensorflow , 则为谷歌云上的相关付费服务输送了强力支持 。
另外 , 我们永远不要小看开源软件为企业带来的巨大营销价值 。
它最一流的“带货效果” , 便是吸引和留住一众顶尖人才 , 不知道为大厂省下多少高昂的人力资本 。 这也与当下Meta开始收缩招聘规模的现状 , 做了完美呼应 。
当然 , 优秀开源软件打的时间差和聚拢效应 , 将会使后来者很难在短时间内形成气候 , Tensorflow与一众国产深度学习开源框架的往事就是最好的例子 。
因此 , Meta这一决定 , 将会让OpenAI陷入一个尴尬的境地——虽然名声很大 , 但它毕竟是一家创业公司 。 从另一个角度看 , 在寻找商业落地的过程中 , 大厂通过开放、免费等手段遏制对手 , 取得胜利 , 这种事情似乎永远都在发生 。
【meta|首次开源这一强大算法,我们向Meta致敬】但好处在于 , 这会让一家公司意识到 , 在商业世界 , 没有一分钟时间可用来顿足 , 绝不能停下创新的狂奔步伐——近期他们发布的达利系统第二代 , 也许是以GPT3为跳板 , 向文字与视觉融合方向跃升的最好标志 。
- meta|促进更逼真AR/VR体验,Meta正在开发全新空间音频工具
- 日本|新垣结衣婚后首次出席公开活动 对镜头甜笑颜值不减
- 华为荣耀|荣耀magic5传来消息,首次采用1TB大内存,价格却有些出乎意料
- 开源软件|Web3能拯救失落的互联网人吗?
- Intel12代酷睿大获成功|Intel 13代酷睿首次露出真面目
- 马云|马云消失半年后首次露面,奢侈生活现状曝光
- 全球首次!我国实现“克隆猪”自动化,将用来育种生产
- |中国反超韩国,17年来首次登上显示屏份额第一宝座
- 开源软件|嵌入式开发:技巧和窍门——引导加载程序跳转到应用程序代码
- “智能集成住宅造楼机”在华南地区首次成功运用
