2020 AI 研究大盘点！这些大牛的论文你都看过吗？( 二 )

文章图片
训练数据来自开源的GitHub项目，并且主要训练C++,Java,Python之间的函数变换。
基本架构是一个seq2seq的模型，该模型由一个编码器和一个具有Transformer结构的解码器组成。以无监督的方式专门针对函数进行训练。
在训练结束后，相似的词在表示空间中有更近的距离。

文章图片
5、GPT-3:LanguageModelsarefew-shotlearners
GPT-3是OpenAI开发的一个新的文本生成程序。该模型经过预训练后参数即固定。
他们在1750亿个参数的5万亿个单词的数据集上训练GPT-3 ，这个参数量是以前非稀疏语言模型的10倍，所以这个模型就不再需要微调了，只有few-shot示例通过与模型的文本交互来指定。
例如，在翻译任务中，只给定一个英语句子及其法语翻译。
few-shot的工作原理是给出一定数量的上下文和完成示例（completion），然后给定一个待定的上下文示例，预期模型将在不更改模型参数的情况下提供补全。
该模型甚至可以通过直接针对特定任务进行微调达到现有sota模型的效果。
总之， GPT-3的效果很好，因为它的记忆中几乎包含了人类在互联网上发布的所有文本。
6、ImageGPT—GenerativePretrainingfromPixels
在之前Gmail展示的新功能中，一个最有趣的能力就是可以根据已经写的邮件内容来推测剩下的连贯文本。
OpenAI提出的ImageGPT就是根据不完全的图像，来预测剩余的像素，而不考虑二维图像结构的知识。
他们想知道一个主要用于自然语言处理的架构是否可以与图片一起「重建」图像。就像Gmail预测你信息的结尾一样。

文章图片
他们使用了的模型是Transformers双向编码器表示（BERT）， Google开发的自然语言处理预训练模型。
应用GPT-2序列架构预测像素而不是语言标记。
这两个模型， BERT和GPT-2是领域不可知的，这意味着它们可以直接应用于任何形式的一维序列，例如像素序列，而不是单词和字母。
他们发现该模型甚至可以理解二维图像的特征，比如物体的外观和类别！

文章图片
7、LifespanAgeTransformationSynthesis
来自Adobe研究所的一组研究人员开发了一种新的技术，用于年龄转换合成，这种技术仅仅基于人的一张照片。它可以从你发送的任何图片生成不同年龄段的照片。

文章图片
他们同样使用GAN模型，但做了一些修改，他们称他们的新方法为「多域图像到图像生成对抗网络」。
它基本上是学习代表连续双向老化过程的潜在空间模型。这意味着它学习如何表现一个特定的人的图片，无论是年长的还是年轻的。
主要目标是了解头部形状随时间的变形，而目前的方法往往都忽略了这一点。当然，这不是唯一的挑战，他们还需要了解不同年龄段的外貌变化，这不是一项容易的任务。
由于没有数据集可以为我们提供同一个人在不同年龄的多张照片，所以无法使用监督学习来完成这项任务。
否则的话他们可以获得所有这些照片，并对照片上的人的性别和年龄进行注释，从而使任务实现更简单。

文章图片
8、DeOldify：对旧的黑白照片进行上色，目前SOTA的黑白图像着色方式，并且也是开源的。