gpt-3|OpenAI雄心勃勃的机器人计划失败了：强化学习没法用？( 二 )

零试错：一次试错不能有，上线即能发挥效果，还要明显优于基线。
offline RL 是个正确的方向，但是目前的主流研究也有很多明显的弯路，可能发论文与做落地本身就是不同的事，大家的关心点不可能完全一致吧。
另外就是我们的落地越来越多，不再想着去说服别人 RL 可以用了。
对 AGI 的执着
一直以来，OpenAI 都认为巨大的算力是通向 AGI 或让 AI 学习任何人类学习任务之路的必要步骤。虽然 Yoshua Bengio、Yann LeCun 等大佬都认为 AGI 不可能存在，但 OpenAI 的联合创始人及其观点支持者始终相信强大的计算机与强化学习、预训练和其他技术相结合，可让 AI 实现跨越式进步，这几位联合创始人包括 Greg Brockman、首席科学家 Ilya Sutskever、Elon Musk、Reid Hoffman 和 Y Combinator 前总裁 Sam Altman。
这条路线上的代表成果就是DALL-E，这是一个 120 亿参数的文本 - 图像引擎，本质上是一个视觉创意生成器，称为「图像版 GPT-3」。DALL-E 能够结合不同的想法来合成物体，其中一些物体在现实世界中不太可能存在——比如蜗牛和竖琴的混合体。

文章插图
输入「牛油果形状的椅子」，就可以获得绿油油、形态各异的牛油果椅子图像。
Brockman 和 Altman 十分相信 AGI 将能够掌握比任何人都多的领域知识，特别是识别人类专家无法掌握的复杂的、跨学科的联系。此外他们预测，社会科学等相关领域的研究者如果与部署的 AGI「密切合作」，有助于解决气候变化、医疗保健和教育方面的长期挑战。
Zaremba 断言，预训练是创建大型复杂 AI 系统的一种特别强大的技术。预训练有助于模型学习可在目标任务上重用的通用特征，以提高其准确性。GitHub 最近推出了代码生成工具 Copilot，在 OpenAI 开发其支撑模型 Codex 的过程中，预训练起到了重要作用。GitHub Copilot 提供代码建议的服务适用于 Microsoft Visual Studio 等开发环境中的整行代码。Codex 是 OpenAI GPT-3 的微调版本。

文章插图
一连几条推特，Zaremba 都在为 Copilot 宣传：「如果个人电脑是工程师心中的自行车，那么 Copilot 就是自动驾驶的特斯拉。」
「我相信预训练能够让模型在提升相同智能能力的情况下，成本仅用原方法的 1/100。」Zaremba 说道。
说点儿现实的因素
深入思考，OpenAI 放弃机器人技术可能反映了该公司面临的经济现实。随着研发成本的增加， DeepMind 近年来也经历了类似的转变，从有声望的项目转向商业应用——例如蛋白质形状预测。
众所周知，机器人技术是一个成本高昂的领域。由于经济原因进行大规模变动的机器人公司并不是个例：
比如工业机器人公司 Rethink Robotics 在试图寻找收购方失败后数月关门大吉；本田 Asimo 机器人在 2018 年宣布终止开发；就连业内领先的波士顿动力公司近年来也是多次易主，在韩国现代汽车集团以 11 亿美元收购控股权之前，2014 年曾被谷歌以 30 亿美元的价格收购，2017 年又被软银收购。
一年前，微软宣布向 OpenAI 投资 10 亿美元共同开发微软 Azure 云平台的新技术。作为交换，OpenAI 同意将其部分知识产权许可给微软，并且在开发下一代计算硬件时用 Azure 训练和运行 AI 模型。
之后的几个月里，OpenAI 发布了一个 Microsoft Azure 驱动的 API，允许开发人员探索 GPT-3 的功能。GPT-3 现在已被众多业内开发者在 300 多个不同的应用程序中使用，平均每天产生 45 亿个单词。2020 年底，微软宣布将独家许可 GPT-3 为客户开发和交付 AI 解决方案，以及创建利用自然语言生成能力的新产品。最近，微软又宣布 GPT-3 将与 Power Apps「深度」集成。