SIGIR 2021｜重新思考Attention在CTR预估中作用

©PaperWeekly 原创 · 作者 | 金金

单位 | 阿里巴巴研究实习生

研究方向 | 推荐系统

论文标题：

Looking at CTR Prediction Again: Is Attention All You Need?

论文来源：

SIGIR 2021

论文链接：

https://arxiv.org/abs/2105.05563

简介

点击率（CTR）预测是网络搜索、推荐系统和在线广告展示中的一个关键问题。学习良好的特征交互对于反映用户对物品的偏好至关重要。许多基于深度学习的 CTR 预测模型已经被提出，但研究人员通常只关注是否达到了 state-of-the-art 的性能，而忽略了整个框架是否合理。

在这项工作中，作者使用经济学中的离散选择模型重新定义了 CTR 预测问题，并提出了一个基于自注意力机制的通用神经网络框架。发现大多数现有的 CTR 预测模型与本文提出的通用框架一致。作者还检查本文提出的框架的表达能力和模型复杂性，以及对一些现有模型的潜在扩展。最后，本文通过公共数据集上的一些实验结果来展示和验证作者的见解。

模型

本文中，作者提出了一个通用的框架，从而可以表示所有的 CTR 模型，该框架如下：

该模型首先通过一个输入层读取来自不同域的信息，并映射为 one-hot 的向量，然后使用一个嵌入表示层，将该表示转化为稠密向量表示。

在此基础上，使用特征交互层，计算不同特征之间的交互信息，然后通过一个聚合层聚合不同交互形式下的信息，最后使用一个空间 transformer 层，最终得到效用分数。

而已有的 CTR 模型嵌入到该框架中的具体形式如下：

那么在此基础上，作者提出了新的基于自注意力机制的扩展 CTR 预估模型 SAM，并计算三种形式的变种的时间复杂度和空间复杂度如下：

实验

本文的实验在已有的真实数据集上进行，以验证本文的复现效果以及提出的新的扩展框架的效果，最后发现，的确该方法可以融合已有的CTR预估框架，且基于自注意力机制的模型可以取得更准确的效果，从而说明了注意力机制的有效性。

结论

在这项工作中，作者提出了一个 CTR 预测的通用框架，它对应于基于神经网络模型的个体决策过程。我们还尝试研究注意力机制在 CTR 预测模型中是否至关重要。发现大多数CTR预测模型可以看作是应用于特征交互的通用注意力机制。从这个意义上说，注意力机制对于 CTR 预测模型很重要。

此外，作者基于本文的框架扩展了现有的 CTR 模型，并提出了三种类型的 SAM，其中 SAM1 和 SAM2 模型分别是 LR 和 FM 模型的扩展，SAM3 对应于 Transformer 中的 self-attention 模型与原始模型-场嵌入扩展到成对场嵌入。根据在两个数据集上的实验结果，虽然本文的扩展可以获得相当有竞争力的结果，但 SAM3 模型并没有表现出其显着的优势。

作者还对 SAM3A 模型中的 SAM 层数进行了更深入的分析，发现深度并不总是能带来更好的性能。这在一定程度上也说明了 CTR 预测问题不同于 NLP 任务，高阶特征交互的效果并不能带来太大的提升。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

???? 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

???? 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！