在真实的推荐系统中，由于各种各样的原因，往往会造成各种各样的偏差问题。这些客观或者主观原因造成的偏差对推荐展示效果及推荐系统的生态发展都会造成负面的影响。

下面对造成推荐偏差的原因、推荐系统中常见偏差及消偏策略进行介绍。

推荐偏差的缘由

推荐算法的出发点基本都致力于更好地拟合用户行为数据。推荐系统工作流程如图1所示，基于用户行为反馈数据训练得到推荐模型，将模型预估 TopN 结果返回用户展示，再收集用户对展示结果的行为反馈并调整推荐模型。
用户和推荐系统之间通过用户数据链接形成反馈循环回路。在这个过程中，会受以下偏差的影响。

(1)数据收集引入的偏差：造成这类偏差的主要原因是用户行为数据的产生依赖于物品的曝光，而推荐系统的分发策略、物品的曝光位置等，都是影响用户实际反馈和喜好偏差的因素。

(2)推荐策略带来的偏差：如数据分布不均匀造成的推荐结果有偏，或者热门推荐带来的长尾物品曝光不足和马太效应等。

(3)上述偏差会在“用户->数据->推荐系统->用户”的反馈循环中不断地被放大，加剧强者愈强的马太效应，严重的会导致推荐生态逐步恶化。

推荐系统常见偏差

如图2所示，根据引入偏差的环节和原因，可以将推荐系统偏差分为数据偏差(Data Bias)、模型偏差(Model Bias)和结果偏差(Result Bias)。

数据偏差是指观测采集的训练数据和理想的数据分布之间的差异。常见的数据偏差有选择偏差、一致性偏差、曝光偏差和位置偏差。

(1)选择偏差(Selection Bias)：选择偏差主要来自用户的显式反馈，发生在用户给物品打分的时候，收集到的用户反馈数据的分布不能代表整体的数据分布。偏差存在的主要原因是，用户的打分行为不是随机的，而是存在主观偏好。用户倾向于给自己喜欢或者讨厌的物品打分，打分数据是不随机缺失的。

(2)一致性偏差(Conformity Bias)：一致性偏差又称从众偏差，是指人的从众心理会使用户的行为反馈受到其他用户的影响而带来的用户行为偏差。

(3)曝光偏差(Exposure Bias)：用户行为只能作用于曝光用户的物品上，收集的用户行为数据只能基于曝光数据。对于未交互的物品不一定是用户不喜欢的，也可能是未曝光的。造成曝光偏差的原因主要有:(a)当前曝光的物品会受之前推荐结果的影响;(b)用户的搜索等主动行为对推荐结果的影响; (c)用户自身的属性，如地理位置、社交关系、所属群体等，对推荐曝光的影响;(d)物品的流行度导致的曝光偏差。

(4)位置偏差(Position Bias)：在多数推荐业务场景中，展示物品的关注度会受展示位置的影响。如列表式推荐，展示位置靠前的物品会比位置靠后的物品更容易获得用户的注意力，也更容易获得用户的点击等行为交互。这种由于展示位置带来的用户交互偏差就是位置偏差。位置偏差使得占据位置优势的物品容易获得偏高的后验点击率，位置偏差在搜索场景中更常见，影响也更大。

模型偏差中最主要的偏差就是归纳偏差(Inductive Bias)。

归纳偏差的目的是更好地拟合数据预设的各种假设。比如，为了提升模型泛化性对模型做的各种假设，针对损失函数做的一些相关假设，特征表示的假设，以及模型结构相关的 RNN时间依赖性假设、注意力机制假设等。

结果偏差是指推荐结果中隐含的偏差，最常见的结果偏差就是流行性偏差和推荐系统不公平性造成的偏差。

(1)流行性偏差(Popularity Bias)：长尾现象在推荐系统中普遍存在，一小部分高热物品占据了推荐数据中大部分的曝光、点击等交互。流行性偏差是指长尾分布的训练数据使得模型倾向于给流行物品更高的分值，这会导致系统推荐更倾向于高热流行的物品。研究表明，高热物品的推荐频率甚至会超过他们原始的受欢迎程度。

(2)不公平性(Unfairness)：不公平性是指推荐系统为了一部分用户或者群体而给特定的用户或者群体以不公平的对待。这是一个比较宽泛的偏差，任何用户组信息(如年龄、性别、地域、教育背景等)都有可能在数据中被不平等地表示。这种数据不平衡就会被模型学到，从而偏向表示性较高的群体。

常用的消偏技术和策略

针对数据偏差，常用的消偏技术有如下三类。

(1)重调权(Re-Weighting)：该类方法的出发点是通过样本权重来调控 每一条样本对模型训练的影响。

(2)重标注(Re-Labeling)：该类方法的出发点是为缺失或者有偏的数据 重新设置一个伪标签(label)。

(3)生成模型(Generative Modeling)：假设偏差数据的生成过程，通过 模型策略消除偏差影响。

图3给出了一些数据偏差消偏常用的策略和方法。

选择偏差常用的消偏方法有数据填充、倾向打分、双重鲁棒模型及生成模型等。

其中数据填充属于重标注，倾向打分属于重调权，双重鲁棒模型是结合了重标注和重调权的消偏方法。

针对一致性偏差也可以将用户行为和打分分解为用户兴趣和从众心理影响两部分，通过引入特定的参数对一致性偏差进行消偏。还有最近几年比较火的基于逆倾向分(Inverse Propensity Score，IPS)的建模思路可以解决多种偏差问题。关于这些消偏技术在此不做展开介绍，感兴趣的读者可以查阅相关的参考文献。

前文所述的偏差问题很多时候是没有严格的区别或者划分界限的，相应的消偏策略和方法很多时候也是相通的。下面以推荐中最典型的位置偏差为例，介绍一些工业界最常使用的方法。

位置消偏最常用的方法之一是将位置信息作为模型特征加入点击率预估模型中，这是最简单且代价最小的位置消偏策略。将位置编码作为模型特征，在训练时输入实际曝光的位置信息。在预测时，因为曝光位置还未确定，位置特征统一取默认值。借由位置特征学习到的后验信息纠正位置偏差的影响。

华为发表在 RecSys2019 上的 PAL 是位置消偏比较经典的工作之一。首先，PAL 将用户点击广告的概率拆分为广告被看到的概率和看到后被点击的概率，如式(1)所示。

然后，作者又做了进一步的假设：

(1)用户是否看到广告只与广告的位置有关；

(2)用户看到广告后，是否点击广告与广告的位置无关。于是式(1)可以进一步简化为式(2)，基于此，我们就可以单独建模位置的影响。

如图4所示，通过单独的网络建模位置信息，可以得到广告被看到的 概率 ProbSeen。pCTR 部分是广告被看到后的点击概率。

如式(3)所示， PAL 的损失函数是两者的结合。当线上预估广告的曝光点击率时，只使用黑 框部分的网络模型预估 pCTR 即可。

如图4所示，通过单独的网络建模位置信息，可以得到广告被看到的 概率 ProbSeen。pCTR 部分是广告被看到后的点击概率。

该模型是在主模型的基础上，另外添加一个浅层偏差网络。浅层偏差网络的输入是包括位置信息、设备信息等影响用户选择偏差的特征。线上预测时也只使用主网络部分。

对于推荐结果中的流行性偏差和不公平性造成的偏差，常用的消偏策略有正则化、对抗学习、因果图、因果模型等。推荐偏差和消偏技术是各大顶会的热门课题，相关的研究成果层出不穷，也是在实际业务场景中提升业务核心指标的一大利器。

本文节选自《这就是推荐系统――核心技术原理与企业应用》一书，欢迎阅读本书了解更多相关内容。