转载

推荐算法综述（三）

【编者的话】近年来社交媒体已经越来越流行，可以从中获得大量丰富多彩的信息的同时，也给我们带来了严重的“信息过载”问题。推荐系统作为缓解信息过载的最有效方法之一，在社交媒体中的作用日趋重要。区别于传统的推荐方法，社交媒体中包含大量的用户产生内容，因此在社交媒体中，通过结合传统的个性化的推荐方法，集成各类新的数据、元数据和清晰的用户关系，产生了各种新的推荐技术。本文总结了推荐系统中的几个关键研究领域，进行综述介绍。这是推荐算法综述的第三部分。第一部分主要介绍了推荐算法的主要类型。第二部分，主要涵盖了不同类型的协同过滤算法，突出他们之间的一些细微差别。在本文中，主要详细介绍基于内容的过滤算法的工作原理，以及它的优点和缺点，从而让读者对其有更深的理解。

注：本文翻译自 Building Recommenders ，InfoQ中文站在获得作者授权的基础上对文章进行了翻译。

正文

本文是推荐算法综述的第三部分。第一部分主要介绍了推荐算法的主要类型。第二部分，主要涵盖了不同类型的协同过滤算法，突出他们之间的一些细微差别。在这篇博客中，主要详细介绍基于内容的过滤算法的工作原理，以及它的优点和缺点，从而让读者对其有更深的理解。

基于内容的推荐算法总是为用户推荐那些与用户过去喜欢的item类似的item。它不同于协同过滤，它是基于item的内容（例如标题、年份、描述）比较item之间的相似度。并没有考虑用户过去如何使用item的情况。例如，如果一个用户喜欢电影“指环王：魔戒再现”和“指环王：双塔奇兵”，然后使用电影的标题信息，推荐系统可以向用户推荐电影“指环王：王者无敌”。在基于内容的推荐中，假设可以获取到item的描述信息，并将其作为item的特征向量（例如标题、年份、描述）。这些特征向量被用于创建一个反映用户偏好的模型。各种信息检索（例如TF-IDF）和机器学习技术（例如朴素贝叶斯、支持向量机、决策树等）可被用于创建用户模型，从而为用户产生推荐。

举个例子，假设有一些用户表达过对于一系列书籍的偏好。他们越喜欢一本书，他们对书籍的评分就会越高，通常划分为从1到5的5个等级。可以将用户对于书籍的偏好表示为一个矩阵，其中行代表用，列表示书籍，如图1所示。

推荐算法综述（三）

图1：用户对书籍的偏好。所有的偏好都分为5个等级，5表示最喜欢的。第一个用户（行1）对于第一本书的偏好给出了一个4分的评分。如果一个单元格是空的，表示用户对于该书籍的偏好没有给出。

在基于内容的推荐中，我们想要做的第一件事是基于内容计算书籍之间的相似度。在这个例子中仅仅使用了书籍标题中的词汇，这是为了将例子进行简化，以方便理解基于内容的推荐算法的工作原理，如图2所示。在实际应用中，可以使用更多的属性。

推荐算法综述（三）

图2：用户已经评分过的书籍的标题。

首先，从内容中删除停止词（例如语法词语、常见的词语）是非常普遍的，然后将书籍用一个向量表示（或数组），代表使用了哪些词，这被称为矢量空间表示，如下图3所示。

推荐算法综述（三）

图3：使用书籍标题中词汇作为描述书籍的向量表示。当相应的词汇在标题中，对应的单元格中标注1，否则为空白。

给定每本书的表示之后，使用一系列的相似度度量来对书籍进行比较就变得非常简单了。在这个例子中，我们选择了余弦相似性度量。当我们把第一本书与五本其他的书进行比较时，就能得到这本书与其他书之间的相似程度，如下图4所示。如同大多数相似度度量一样，向量之间的相似性度量值越高，表明两个对象之间越相似。在这种情况下，第一本书与其中三本书非常类似，因为它们的表示之间有两个词汇相同（recommender和 systems），但是其中一本书的描述的词汇最少，它与第一本书最相似，因为它有最少的多余的词汇。而与剩下两本书之间因为没有共同的描述词汇，因此可以当做一点都不相似。

(点击放大图像)

推荐算法综述（三）

图4：第一本书与其他书籍之间的相似度。能够使用余弦相似性度量进行计算。

更进一步，就可以在一个相似度矩阵中显示所有书籍之间的相似程度，如下图5所示。单元格的背景颜色表示两本书之间的相似程度，红颜色越深，它们之间越相似。

推荐算法综述（三）

图5：书籍之间的相似度矩阵。每个相似度是基于书籍的词汇向量表示用余弦相似性度量进行计算的。

在知道书籍之间有多相似之后，我们就可以对用户推荐书籍了。类似于我们在第二部分所介绍的基于item的协同过滤方法，我们选取一个用户此前评分过的书籍，并推荐与它们最相似的书籍。与协同过滤方法不同的是，这里的相似性度量是基于书籍的内容，在这个例子中，准确来说是标题，而不是使用用户过去的行为数据。在我们的例子中，第一个用户将会被推荐第四本书，之后是第六本书，如下图6所示。再次，我们仅仅选取了最相似的两本书。

(点击放大图像)

推荐算法综述（三）

图6：针对一个具体的用户产生的推荐。我们选择用户已经评分过的书籍，然后找到两本与它们最相似的书，推荐给用户未评分过的书籍。

基于内容的方法克服了协同过滤方法的很多不足。具体来说，基于内容的推荐算法可以克服流行度偏离和新item的冷启动问题，这些问题在第二部分介绍协同过滤的时候已经讨论过。然而，值得注意的是，纯粹基于内容的推荐算法的性能通常不如协同过滤算法。基于内容的推荐算法通常还存在过度专业化（over-specialisation）的问题，即用户可能会得到过多相同类型的item（如推荐所有的“指环王”系列电影），而不会推荐其他不同的、但用户可能感兴趣的item。最后是，基于内容的推荐算法中，仅仅使用了包含在item元数据中的词汇（如标题、描述年份），这限制了推荐算法的实用性，不能帮助用户探索和发现词汇之外的内容。

本文是一篇翻译稿，读者也可以参考英文原文。

编后语

《他山之石》是InfoQ中文站新推出的一个专栏，精选来自国内外技术社区和个人博客上的技术文章，让更多的读者朋友受益，本栏目转载的内容都经过原作者授权。文章推荐可以发送邮件到editors@cn.infoq.com。

感谢杜小芳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号： InfoQChina ）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群推荐算法综述（三）（已满），InfoQ读者交流群（#2））。