说到计算广告，或者个性化推荐，甚至一般的互联网产品，无论是运营、产品还是技术，最为关注的指标，就是点击率。业界也经常流传着一些故事，某某科学家通过建立更好的点击率预测模型，为公司带来了上亿的增量收入。点击率这样一个简单直接的统计量，为什么要用复杂的数学模型来刻画呢？这样的模型又是如何建立与评估的呢？北京网站设计公司北京万博通达在这一期就来谈谈这个问题。 那么什么是点击率模型呢？ 计算机科学里，点击模型（Click Model）是对用户点击行为的建模。根据用户的历史点击信息，对用户的兴趣和行为进行建模，以对用户的未来点击行为进行预测，提高相关性。 在搜索引擎中，点击模型是指对用户的历史点击文档进行建模，用来预测文档相关性。 网页SEO搜索排序传统上基于人工设计的排序函数，如BM25等。近几年，排序学习的引入大大的降低了融合大量特征的繁琐程度，不过由于排序学习是监督学习，因此需要大量的人工标注人员对文档进行标注，这需要大量的人工成本，而且由于营销型网站建设网页的相关性会随着网页内容的更新等发生变化，尤其是时效性类的新闻网页，保持所有的人工标注是最新的是不可行的。 用户的点击日志记录了用户对搜索结果满意程度的重要信息，能够提供对相关性预测价值非常高的信息。相比较人工标注而言，点击的获得成本更低，而且点击体现的总是最近的相关性。 一、为什么要建立一个点击率模型？ 无论是人工运营还是机器决策，我们都希望对某条广告或内容可能的点击率有一个预判，以便判断哪些条目应该被放在更重要的位置上。这件事儿看起来并不难，比如说我有十条内容，在历史上呈现出来的点击率各个不同，那么只需要根据历史点击率的统计做决策即可，似乎并没有什么困难。 然并卵。直接统计历史点击率的方法，虽然简单易操作，却会碰到一个非常棘手的问题。首先，大家要建立一个概念：不考虑位置、时间等一系列环境因素，绝对的点击率水平是没有什么太大意义的。比方说，下面的一个广告，分别被放在图中的两个位置上，统计得到前者的点击率是2%，后者的点击率是1%，究竟哪个广告好一些呢？其实我们得不出任何结论。 于是，聪明的运营想到一个办法，干脆我在不同的位置上分别统计点击率，然后分别排序。这个思路从道理上来说无懈可击，相当于直接求解联合分布；不过，其实用价值并不高：在每个位置上分别统计，大多数广告或内容条目的数据都太少，比如说100次展示，产生了一次点击，这难道能得出1%点击率的结论么？ 那能不能再换一个思路，找到一些影响点击率的一些关健因素，对这些因素分别统计？这实际上已经产生了“特征”这样的建模思路了。比如说，广告位是一个因素，广告本身是一个因素，用户的性别是一个因素，在每个因素上分别统计点击率，从数据充分性上是可行的。不过这又产生了一个新的问题：我知道了男性用户的平均点击率、广告位S平均点击率、某广告A的平均点击率，那么如何评估某男性用户在广告位S上看到广告A的点击率呢？直觉的方法，是求上面三个点击率的几何平均。不过这里面有一个隐含的假设：即这三个因素是相互独立的。然而当特征多起来以后，这样的独立性假设是很难保证的。 特征之间独立性，经常对我们的结论影响很大。比如说，中国的癌症发病率上升，到底是“中国”这个因素的原因呢？还是“平均寿命”这个因素的原因呢？显然这两个因素有一些相关性，因此简单的分别统计，往往也是行不通的。 那么怎么办呢？这就要统计学家和计算机科学家出马，建立一个综合考虑各种特征，并根据历史数据调整出来的点击率模型，这个模型既要考虑各种特征的相关性，又要解决每个特征数据充分性的问题，并且还要能在大量的数据上自动训练优化。这就是点击率模型的意义，这是一项伟大的、光荣的、正确的、有着极大实用价值和战略意义的互联网+和大数据时代的重要工作。那位说了，有必要抬得这么高么？当然有必要！因为这门手艺我也粗通一点儿，不吹哪行。 二、怎样建立一个点击率模型？ 这个问题比较简单，我们就不多谈了。（想骂街的读者，请稍安勿躁，继续往下看。） 三、如何评估一个点击率模型？ 评估点击率模型的好坏，有各种定性的或定量的、线上的或线下的方法。但是不论什么样的评测方法，其本质都是一样，就是要看这个模型区别被点击的展示与没被点击的展示之间的区别。当然，如果能找到一个离线可以计算的量化指标，是再好不过了。 这样的指标是有一个，就是如下图所示的ROC曲线下的面积，术语上称为AUC。（关于ROC和AUC的详细介绍，请大家参考《计算广告》第*章。）AUC这个数值越大，对应的模型区别能力就越强。 好了，为了让大家深入理解点击率模型评测的关键，我们要谈到一个常见的口水仗：有一天，有两位工程师在闲谈，一位叫小优，一位叫小度。他们分别负责某视频网站和某网盟广告的点击率建模。小优说：最近可把我忙坏了，上线了个全新的点击率模型，把AUC从0.62提高到0.67，效果真不错！哪知道小度听了哈哈大笑：这数据你也好意思拿出来说，我们的AUC早就到0.9以上了！ 那么，是不是小度的模型比小优真的好那么多呢？当然不是，我们看看该视频网站和网盟的广告位分布，就一目了然了。 什么？你还没有明白，那么我建议你自己好好把这个问题想清楚。不论你是运营还是产品，经过了这样的思考，你的数据解读能力会上一个台阶。 好了，三个关键点说完了，我知道有的读者还会对第二点表示没看懂，那干脆我们就再多说一点儿，将2015年11月15日王超在计算广告读者微信群里所做的题为“点击率预估趋势浅析”的分享内容整理发布在下面。没有坚持到这里就把文章关掉的码农们，让他们后悔一辈子去吧！ 今天分享一下点击率预估近年来的一些趋势。主要结合刘鹏老师的一些指导，以及自身工作的一些经验，有偏颇的地方请大家多多指正。 在计算广告第一版的书里，主要讲到了经典的点击率预估模型逻辑回归，特征工程，模型的评估等，相信对大多数场景来说这一步是必做的基线版本。后续可以在此基础上做一些更细致的特征工程和模型工作。考虑到群里的朋友都已经拿到了这本书，今天先跳过书里覆盖的内容，讲一些目前书里没有提及的部分。如果对书里内容还不够了解的朋友，建议第一步还是把书中基础性的内容仔细掌握。