8月14日至18日|kdd2021在线上正式举行ai技术应用紧密结合( 三 )

文章图片
6.CHAML：基于课程式元学习框架的POI推荐技术
POI推荐，作为广受用户欢迎的POI发现方式，是百度地图的特色功能之一。该功能旨在结合当前的时空场景和用户使用习惯，快速发现其潜在感兴趣的POI 。但是，由于『用户-POI』交互的天然长尾效应，现有技术很难为数据稀疏的冷启动城市提供令人满意的POI推荐。本文提出了一种将隐藏在丰富数据中的知识从热门城市迁移到冷启动城市的构想。为了达成这一构想，我们设计了一种新的课程式元学习（CHAML）框架。 CHAML框架能够分别从城市和用户两个层面，考虑样本的训练难度，并以此来增强元学习训练过程。同时，我们设计了一种由易到难的课程式学习方案，用于样本抽样，以帮助元学习模型收敛到更好的状态。目前， CHAML已经用于百度地图的POI推荐业务，并且取得显著的应用效果。

文章图片
新技术助力百度搜索引擎性能与效果提升
如何进一步优化提升百度搜索引擎的体验和效率，是百度技术人员一直关注的问题。此次KDD2021百度中选论文中，有数篇围绕百度搜索引擎性能效果提升探讨了最新技术研究成果，包含使用百度先进的中文预训练语言模型文心（ERNIE），快速近邻检索（ANN）和快速最大内积检索（MIPS），高效智能在线推理系统JiZhi（极智）等。
7.基于预训练语言模型的百度搜索排序
Pre-trainedLanguageModelbasedRankinginBaiduSearch
排序作为搜索的核心，在满足用户的信息需求方面起着至关重要的作用。近来，基于预训练语言模型(PLM)的微调方法取得了当前最好的效果。然而，在大规模搜索引擎中应用基于PLM的排序模型却并不容易：1.PLM的计算成本过高，尤其是对于排序中的长文本，限制了他们在低延时系统中的部署；2.现有的预训练目标与相关性无关，直接应用相关性无关的PLM模型，是限制基于PLM的排序模型的另一个主要障碍；3.现有的排序模型需要和其他排序模型共同应用，因此模型与其他模型的兼容性对于一个排序系统来说也至关重要。
在本工作中，我们提出了一系列如何成功部署最先进的中文预训练语言模型（ERNIE）的技术。首先，我们阐明了如何高效地抽取文档的摘要，并提出了能强大的Pyramid-ERNIE架构将查询、标题和摘要三者建模。然后，我们提出了一个范式来精细地利用大规模的有噪声和偏见的点击后行为数据进行面向相关性的预训练。其次，我们还提出了一种为在线排名系统量身定制的人工锚定微调策略，旨在保证基于PLM的排序模型和其他模块的兼容性。最后，大量的离线和在线实验结果表明，所提出的方法可以显着提高了搜索引擎的性能。

文章图片
8.预训练语言模型在百度大规模网页召回中的应用
Pre-trainedLanguageModelforWeb-scaleRetrievalinBaiduSearch
召回是网页搜索中的重要阶段，其功能在于从海量网页库中找到一个相对较小的相关候选集。其中，基于语义相关的召回有助于展现更多高质量的搜索结果给用户。但是，搭建和部署一个高效的语义召回模型，在搜索引擎业务中一直面临着诸多挑战。本文介绍了目前百度搜索中所使用的基于预训练语言模型的召回系统。此系统采用了百度自研的中文预训练语言ERNIE ，通过应用基于多层Transformer的模型结构，以及多阶段的训练流程，赋予了召回系统强大的语义匹配能力。同时，本文还介绍了基于预训练的召回模型在整个召回系统中的工作流程。通过严谨的离线和线上实验验证，基于预训练语言模型的召回系统已全量部署在百度搜索业务中，提升了百度搜索的整体效果。