转载

CDP的体系化搭建：从应用架构角度认识CDP

本文讲述了CDP的概念和架构，并按照【数据收集】→【数据预处理+建立映射关系】→【用户细分】→【数据应用】→【报表输出】的功能逻辑进行架构分析。

互联网行业各种新概念总是层出不穷。

其实依据CRM的定义：以客户为中心，运用通信技术进行市场营销、销售管理、客户关怀、服务和支持，通过提高客户忠诚度和保有率来提升企业的盈利的管理理念。

严格来说CDP也是属于CRM范畴的。但为了方便阐述，本文仍然将CDP与CRM区分开来，下文所描述的CRM也仅指狭义上的“营销型CRM”。

一、概念解释

CDP（Customer Data Platform）即客户数据中台，是通过收集并处理用户在第一方/第二方/第三方平台的数据，实现用户细分，进行精准的自动化营销和广告投放的系统。旨在挖掘开发潜在客户，以及维系老客并提升其价值。

CDP的体系化搭建：从应用架构角度认识CDP

【用户】包含已产生购买行为的用户，以及未产生购买行为的潜在用户；
【第一方平台】企业自有的网站/APP/小程序和CRM等；
【第二方平台】广告商和不限于社交/电商/资讯/视频等其他合作媒体；
【第三方平台】电信运营商等；
【数据】包含基本属性信息（姓名/电话/邮箱/地址/各平台账号等个人信息），以及行为数据（浏览/点赞/收藏/分享/购买等关键交互操作）。

二、架构分析

通过上面的定义，大家可以暂时将CDP粗略理解为一个数据分析平台。

其功能逻辑比较简单，可大致分为五步：【数据收集】→【数据预处理+建立映射关系】→【用户细分】→【数据应用】→【报表输出】。下文我也将按照这个功能逻辑进行架构分析。

1. 数据收集

对于自有的网站/APP/小程序中用户数据的收集，一般是采用埋点的方式；对于其他渠道（包含第一方平台的CRM系统，以及第二方和第三方平台）的用户数据的收集，则是通过数据接口等方式实现；如果企业有线下渠道，也可以接入CDP。

针对第一方平台的用户数据的收集很容易实现，但是第二方平台和第三方平台用户数据的获取具备难度。原因如下：

1）国家出于保护大众个人信息安全的考虑，在2017年左右出台了一些政策和法规，限制了用户数据交易市场倒买倒卖的乱象，目前精确到个体级别的用户数据交易市场已经萎缩；前用户数据交易平台（某堂和某云等）都纷纷进行了业务转型，着手去做大数据和云计算了；

2）第二方和第三方平台转为开始提供人群包数据，但人群包“能否提供用户在某平台上的行为信息”，这是不确定的。

我调研了抖音等平台，针对入驻平台的企业号，能获取的用户数据相当有限：只能获取统计型数据，完全不提供精确到具体用户的数据。详情请见下表（✓代表提供，-代表不提供，？代表不确定）。

CDP的体系化搭建：从应用架构角度认识CDP

抖音平台用户数据梳理

所以实际情况就是：第二方/第三方平台数据获取难度大，第一方平台数据成为CDP搭建的重要数据来源。

但难度大并不代表不能获取，大型企业之间建立合作伙伴关系，以及企业与上下游建立伙伴关系，是可能获得合作伙伴平台的用户数据的，当然这必然是在合规的前提下。

各个平台用户数据收集后将被储存进数据仓库，构成了CDP的第一部分架构。

CDP的体系化搭建：从应用架构角度认识CDP

2. 数据预处理并建立映射关系

数据获取后并不能立即投入运用，各个平台的数据质量，数据格式一般存在较大差异。需要进行数据清洗和格式化预处理，筛选出高质量的、格式规范的数据。

然后依据某些特征信息（user ID/Cookie ID/IMEI/MAC地址/手机号等）将各个平台的账号归一到某一个真实用户名下（即建立各平台账号的映射关系），串联起他在各个平台的行为轨迹，这个交由CDP的ID引擎来完成。

完善相应板块后，架构图更新如下。

CDP的体系化搭建：从应用架构角度认识CDP

3. 用户细分

CDP收集并预处理了相关用户数据，但怎样进行用户细分？我们可以采用建模和打标签的方式来实现。

2.3.1 客户建模

客户建模实际上是基于CRM系统中经典的客户细分思路，大致包含以下几种模型。

基本模型 ：依据用户性别/年龄/地区/收入等基本属性维度进行的客户细分；
RFM模型 ：依据最近一次消费（Recency）、消费频率（Frequency)）和消费金额（Monetary）三个消费特征进行的用户细分；
生命周期模型 ：依据引导期/成长期/成熟期/衰退期（类比产品的生命周期）等时间维度进行用户细分；
价值模型 ：依据用户消费金额高低进行用户细分（通常消费额高的用户对企业来说意味着高价值）；
忠诚度模型 ：依据用户购买频次的多少进行用户细分（通常购买频次多的用户意味着对企业有高忠诚度）。

2.3.2 标签体系

所谓打标签即是基于用户数据（基本属性+行为数据）为用户建立特征属性说明。系统自动从标签库（当热也支持手动）选取标签与用户进行匹配，并以标签进行用户细分。常见的电商标签体系包含：

1）基本属性：依据用户性别/年龄/地区/收入等基本属性维度进行的客户细分（与客户建模中“基本模型”类似）；

2）购物兴趣：依据用户历史订单的商品类别进行客户细分；

3）购买意愿：依据用户的购买意愿强烈程度进行客户细分；如果用户在某商品推广内容下点赞，或者直接将某商品加购（只是举例，并非穷举），那么则认为用户对该商品具备购买意愿。

4）消费能力：依据用户购买力的高低进行用户细分；“消费能力”与客户建模中“价值模型”并不一个概念。

“价值模型”的评估数据来源于用户在企业自有平台的消费记录，但是标签体系中“消费能力”的评估数据来源可能是第二方/第三方平台。是可能出现某用户被标签标记为“高消费能力”但是在价值模型中却是“低价值用户”。

比如从第二方平台获取到某用户住址在一高档小区，我们合理推断他是具有高消费能力的；但是他之前并未在企业自有平台进行过消费，对企业来说他属于低价值用户。

5）消费习惯：依据用户历史订单的特征信息进行用户细分；比如某用户总是先关注商品，等待其打折时才会购买；再比如某用户常常在每月的固定日期购买某类型商品（周期购）；这些订单特征都可以作为用户细分的标签。

6）关注内容：依据用户购物车详情/搜索记录/浏览记录等汇总得出的商品类别进行用户细分；

7）会员信息：依据用户是否为平台会员，是否享有特殊权益进行用户细分。

2.3.3 用户细分的动态/静态选择

我们可以通过客户模型和标签体系实现用户人群细分，但是需要注意的是，人是一直在变化的。或许当下某些人属于某个细分人群，但随着时间流逝他们可能不再满足该细分人群的条件了，同时之前不属于该细分人群的某些人又满足了条件。

所以对于后面的环节，即报表输出和数据应用，可能面临根据实际业务需求采用动态数据或者静态数据。则要求CDP具备数据定期刷新能力，开启则意味着动态用户细分，关闭则表示静态用户细分。

我们将相应板块加入CDP应用架构中。

CDP的体系化搭建：从应用架构角度认识CDP

4. 数据应用

前一步我们已经实现了用户细分，之后即可针对不同人群实施不同营销策略。CDP对细分人群的两个重要应用就是营销自动化和智能广告投放。

2.4.1 营销自动化

通过多渠道/平台联合对具体用户或者细分人群进行个性化营销。

比如某个用户将某商品加入了购物车，但是经过较长时间都没有完成购买;恰好公司近期有相应的品类营销活动，用户可领取适用于该商品的优惠券;此时CDP自动以短信、公众号等渠道通知该用户，促使其完成购买。

营销自动化的实施，涉及到相应的触发机制，需要由规则引擎来实现。同时需要运营管理后台（涉及到营销管理，优惠券管理，会员管理，CMS等模块，是属于运营管理后台基础功能）与基础服务底层（包含但不限于push服务、EDM和SMS）的配合。

2.4.2 智能广告投放

广告投放面临的灵魂拷问是：我知道在广告上的投资有一半是无用的，但问题是我不知道是哪一半。智能广告投放就是尽量避免这种情况的发生，只针对目标人群投放广告，提高广告收益/投入比。

首先明确Lookalike这个概念，即相似人群扩展：是基于种子用户，通过一定的算法评估模型，找到更多拥有潜在关联性的相似人群的技术。大致可通过三种方法实现：

基于用户画像： 给种子用户打标签，利用相同标签找到目标人群；
基于分类模型： 种子用户为正样本，候选对象为负样本，训练分类模型，然后用模型对所有候选对象进行筛选；
基于社交网络： 利用种子用户的好友关系，将其标签传给社区中的好友，从而实现人群扩散。

所以广告投放过程就优化为：CDP先通过Lookalike得到目标扩展人群，企业再将广告内容和目标扩展人群一并给到DSP（这里需要提供不同广告内容与不同扩展人群的对应关系，比如广告A要求投放给扩展人群a，广告B要求投放给扩展人群b），就能实现千人千面的智能广告投放。

DSP（广告平台）一般包含人群分析引擎、LBS定向引擎、RTB重定向、个性推荐引擎、动态出价等功能模块，网上有很多介绍资料，大家可自行搜索了解。

运营管理后台和DSP，严格来说属于CDP直接服务的外部系统，故在架构图中以虚线标识。

CDP的体系化搭建：从应用架构角度认识CDP

5. 报表输出

该板块即是对用户数据的可视化处理。同时报表引擎能根据具体业务，定义相关指标，并输出相应报表。下面介绍一些典型的数据报表。

行为轨迹分析 ：针对全体用户、经过细分的用户人群或者具体用户，进行各平台行为轨迹分析，甚至包含线上/线下渠道的信息，从而分析出哪些渠道/平台/页面的转化效果更好，对于渠道/平台/页面优化有指导意义；
营销漏斗分析 ：反映了从展现、点击、访问、咨询，直到生成订单过程中的客户数量及流失；这个一层层缩小的过程表示不断有客户因为各种原因离开，对企业失去兴趣或放弃购买；其价值在于量化了营销过程各个环节的效率，帮助企业找到薄弱环节；
人群特征分析 ：可以提炼出企业的客户的基本属性（性别/地区/年龄等），有助于企业识别典型客户；“人群特征”需要与“用户画像”相区别。如果CDP收集了所有分散在各渠道/平台的用户数据并分析得出人群特征，从统计学上讲，该数据肯定比用户画像要精确，因为人群特征是基于真实的用户的统计，用户画像往往是基于笼统的流量进行的分析。
广告效果分析 ：主要是针对细分人群进行广告投放的效果分析，包含CVR/CTR等重要指标的展现，优化广告投放渠道和人群；
用户留存分析 ：统计某一时段内的新增用户数中再经过一段时间后仍启动该应用的用户比例，用于分析渠道/平台的效果，是否能够留住用户。

我们将报表引擎加入架构图中，更新后如下。

CDP的体系化搭建：从应用架构角度认识CDP