转载

推荐系统，第 1 部分: 方法和算法简介

查找推荐系统

在您每天使用的许多网站中都可找到推荐系统，包括以下知名的例子：

LinkedIn（面向业务的社交网络站点）推荐您可能知道的人员，您可能喜欢的工作，您想要关注的群组，或者您可能感兴趣的公司。LinkedIn 使用 Apache Hadoop 构建它专业的协作式过滤功能。

Amazon（流行的电子商务站点）使用基于内容的推荐。您选择一款要购买的商品后，Amazon 根据该原始商品来推荐其他用户已购买的商品（作为下一个可能购买的商品表格）。Amazon 为此行为申请了专利，称为 商品到商品协作式过滤 (item-to-item collaborative filtering) 。

Hulu（一个流视频网站）使用一个推荐引擎识别用户可能感兴趣的内容。它还（在线下）使用基于商品的协作式过滤和 Hadoop 来扩展对大量数据的处理。目前已公开提供 Hulu 的在线和离线 ItemCF 架构的详细信息。

Netflix（一个视频租赁和流式传输服务）是一个知名的例子。2006 年，Netflix 举办了一次竞赛以改进它的推荐系统 Cinematch。2009 年，3 个团队合力构建了一个包含 107 个推荐算法的套件，以得到一个预测结果。事实证明这个套件是改善预测准确性的关键所在，这个组合团队赢得了竞赛大奖。

其他整合了推荐引擎的站点包括 Facebook、Twitter、Google、MySpace、Last.fm、Del.icio.us、Pandora、Goodreads，以及您最喜爱的在线新闻站点。推荐引擎的使用正成为现代 Web 存在的一个标准元素。

推荐系统改变了没有活力的网站与其用户通信的方式。无需提供一种静态体验，让用户搜索并可能购买产品，推荐系统加强了交互，以提供内容更丰富的体验。推荐系统根据用户过去的购买和搜索历史，以及其他用户的行为，自主地为各个用户识别推荐内容。本文介绍推荐系统及其所实现的算法。在第 2 部分中，将介绍构建一个推荐功能的开源选项。

基本方法

大多数推荐系统都采用两种基本方法之一：协作式过滤或基于内容的过滤。当然也有其他的方法（比如混合方法）。

协作式过滤

协作式过滤 根据以前用户行为的模型来获得推荐内容。可通过单个用户的行为单独构造该模型，或者 — 更有效的方法是 — 根据其他拥有类似特征的用户的行为来构造该模型。考虑其他用户的行为时，协作式过滤使用群组知识并基于类似用户来形成推荐内容。在本质上，推荐内容基于多个用户的自动协作，并过滤出表现了类似偏好或行为的用户。

例如，假设您正在构建一个网站来推荐博客。通过使用许多订阅并阅读博客的用户的信息，您可根据这些用户的偏好将他们分组。例如，您可将阅读多篇相同博客的用户分组到一起。有了此信息，您可识别该群组阅读了哪些最流行的博客。然后 — 对于群组中的一个特定用户 — 您推荐他或她未阅读也未订阅的最流行博客。

在图 1 中的表中，一组博客构成了行内容，而列定义了用户。博客行和用户列相交的单元包含该博客的该用户所阅读的文章数量。通过根据用户的阅读习惯来为用户划分集群（比如使用一个 nearest-neighbor 算法），您可看到两个分别包含两个用户的集群。注意每个集群的成员的阅读习惯的相似性：Marc 和 Elise（他们都阅读了多篇关于 Linux® 和云计算的文章）形成 Cluster 1。Cluster 2 中包含 Megan 和 Jill，他们都阅读了多篇关于 Java™ 和敏捷性的文章。

图 1. 协作式过滤的简单示例

现在您可识别每个集群中的一些区别并进行有意义的推荐。在 Cluster 1 中，Marc 阅读了 10 篇开源博客文章，Elise 一篇都没读；Elise 阅读了 1 篇敏捷性博客，Marc 一篇都没读。然后在图 1中，针对 Elise 的一个推荐内容是开源博客。无法对 Marc 进行推荐，因为他和 Elise 在敏捷博客阅读方面的细微区别可能被过滤掉了。在 Cluster 2 中，Jill 阅读了 3 篇开源博客，而 Megan 一篇都没读；Megan 阅读了 11 篇 Linux 博客，而 Jill 一篇都没读。然后 Cluster 2 给出了两个推荐内容：为 Jill 推荐 Linux 博客和为 Megan 推荐开源博客。

查看这些关系的另一种方式是基于他们的相似性和区别，如图 2 中的维恩图所示。相似性（基于所用的特定算法）定义了如何将拥有类似兴趣的用户分组到一起。区别是可用于推荐内容的机会 — 例如通过一个流行度过滤器来应用。

图 2. 协作式过滤中使用的相似性和区别

尽管图 2 是一种简化的结果（而且由于仅使用了两个示例的很少数据），但它是一种很方便的表示形式。

基于内容的过滤

基于内容的过滤 可根据用户的行为来构造推荐内容。例如，此方法可能使用历史浏览信息，比如用户阅读了哪些博客和这些博客的特征。如果用户经常阅读关于 Linux 的文章或可能在有关软件工程的博客中留下了评论，基于内容的过滤可使用此历史信息来识别和推荐类似的内容（有关 Linux 的文章或有关软件工程的其他博客）。可手动定义此内容，或者根据其他类似性方法来自动提取此内容。

返回到图 1，重点看看用户 Elise。如果您使用一个博客排名，指定阅读 Linux 文章的用户可能还喜欢阅读开源和云计算文章，您可轻松地进行推荐 — 根据他当前的阅读习惯 — Elise 阅读开源文章。此方法（如图 3 中所示）仅依赖于一个用户访问的内容，而不依赖于系统中其他用户的行为。

图 3. 基于内容的过滤中使用带排名的区别

图 2中的维恩图在这里也适用：如果一端是用户 Elise，另一端是一组带排名的类似博客，那么会忽略相似性（因为 Elise 已阅读这些博客），而且带排名的区别是进行推荐的机会。

混合方法

混合方法将协作式过滤和基于内容的过滤相结合，它可增加推荐系统的效率（和复杂性）。一个混合系统的简单示例可能是使用图 1和图 3中所示的方法。将基于内容的过滤和协作式过滤的结果合并在一起，就有可能实现更准确的推荐内容。混合方法也可用于解决从稀疏数据开始的协作式过滤问题 — 称为 冷启动 — 方法是支持先对基于内容的过滤结果分配权重，然后随着可用用户数据集的成熟而将该权重转变为协作式过滤。

回页首