转载

Airbnb支付平台如何进行异常检测

对于全球的房主和客人来说，Airbnb非常希望房客都可以通过他们自己熟悉的支付方式、本地币种来支付房费；房主也可以通过喜欢的货币、方便的途径收取房租。为了实现此目的，Airbnb支付团队构建了一个一流的支付平台来保证支付安全和易用性。

Airbnb为全球190个国家提供服务，支持多种货币类型。大部分情况下，支付系统会成功支付，但有时会出现暂歇性故障，比如，某些货币不能处理或者支付渠道不可访问。为了能够尽可能快的捕捉到这些故障信息，公司的数据团队开发了一个实时的异常检测系统来甄别这些问题。这个异常检测系统可以很好的帮助产品团队定位问题，也让数据分析师能腾出更多的时间来做其它工作，比如，新的付费方式或者产品上线的A/B 测试、定价或者价格预测和构建机器学习模型来做个性化推荐。为了让大家看到这个异常检测工具的使用，这里通过一些模拟数据集来展示模型是如何工作的。假设一个运行在2020年夏天的电商网站，提供三件商品：监视器、键盘和鼠标，并且两个供应商：Lima和Hackberry。

动机

异常探测系统的主要功能是从时序数据中发现异常数据。简单的情况可以通过整体的直观图表一眼看出来，但大部分情况需要“解密”在这些图表趋势背后的数据。拿下面这个监控器进货的数据举列，如图1

Airbnb支付平台如何进行异常检测

图1

从图1中看到监控器的总体进货量相当的正常。然后分别分析下两个供货商Lima和Hackberry的数据，见图2

Airbnb支付平台如何进行异常检测

图2

从图2可以看出，Lima是电商主要监控器的供应商，但是在2020年8月18号运输出现问题持续大概3天。Airbnb异常检测系统自动检测出此问题并反馈给二级供应商Hackberry。这里可以看出从整体层面数据根本发现不了此问题，但是从另外一个维度却能清晰的检测出问题。

模型

简单的回归模型

最直观的想法是把天数作为哑变量跑一遍普通的最小二乘回归。模型的公式如下：

Airbnb支付平台如何进行异常检测

其中y是跟踪的总量，t是时间变量，I_day_i 是指示变量，代表今天是这周的第i天，e是误差项。这个回归模型简单并能鉴别前面遇到的问题，但是也有其缺点：

增长预测是线性的，一遇到指数式就失效了；
模型有个极强的假设前提：适用于按周的季节性时序数据，不能处理其它模式的季节数据集；
哑变量较多，模型需要更大的样本量才能得到好的结果。

即使能够观察到追踪指标的模式，但不易于扩展变化。Airbnb工程师采用自动的方法避免误差，并让这种技术运用到支付以外的场景。

快速傅里叶变换模型（FFT）

对时序数据集构建一个基于趋势和季节的模型。模型数学公式如下：

Airbnb支付平台如何进行异常检测

其中，Y是度量标准，S是季节变量，T代表趋势，e是误差项。例如，以前面的简单回归模型对比，这里的S代表所有指示变量的和，T等同于at + b。

在这部分，展示新模型如何检测趋势和季节性。基于上面的经验，这次采取两款产品：键盘和鼠标。下图3展示两种产品的销售数据：

Airbnb支付平台如何进行异常检测

图3

从上图3可以看出，键盘是在2016年9月开始售卖，并成为主打商品。2017年8开始引进鼠标。后面将对趋势和季节进行建模，试图发现偏离平均值的异常数据。

季节效应

为了解决季节性效应，这里采用快速傅立叶变换FFT。在简单的线性回归模型中，前提假设是时序数据是按周季节性变化的。从上面的趋势图可以看出鼠标的销售并不是按周季节性变化的，如果胡乱的假设会造成模型误判。而快速傅立叶变化FFT擅长基于历史时序数据总量来进行季节性检测。对时序数据集应用FFT之后，得到下面的图4

Airbnb支付平台如何进行异常检测

图4

图4中season_day周期性余弦值。在快速傅立叶变换中，一般只选择峰值的周期代表季节性，其它周期当作噪音（具体为什么这么选择可以看FFT原理资料）。在这个列子里，键盘的FFT结果有7和3.5两个采样点是大峰值，在45和60两个采样点有小峰值。而对于鼠标来讲，在采样点7时有个大峰值，35、60和80有相对小的峰值。把两种商品的FFT结果合并生成季节性图，如图5

Airbnb支付平台如何进行异常检测

图5

从图5上可看出，键盘的产品季节性增长，主要是按周季节性的。而鼠标有按周的季节性趋势和40天一个周期的季节性。

趋势分析

这里采用滚动中值（rolling median）来作为时序数据集的趋势。使用这种算法的前提假设是苏阿短时间内的增长变化不显著。比如，对某天来讲，采用其之前的7天的滚动中值作为当天的趋势水平。用中值代替平均值使得算法检测异常数据的结果更加稳定，举个列子，对于某一两天来说销量突然增长10% ，如果使用中值则看不出来有什么变化，而采取平均值的话就对趋势有很明显的变化。在这种情况下，采用14天的中值作为趋势，如图6

Airbnb支付平台如何进行异常检测

图6

误差项

在得到季节效应和趋势后，可以评估误差项了。通过误差项可以发现时序数据集里的异常点，这里用原始数据减去季节效应和趋势得到误差项，然后绘图如下：

Airbnb支付平台如何进行异常检测

图7

从图x发现，误差项里有一些毛刺，这就说明了时序数据集中出现异常点。根据实际情况定出所能容忍的负相关度，即选择偏离中心点0多少个标准方差（参考《概率论与数理统计教程》）。这里选择偏离4个标准方差来获得一个合理的阈值警报，结果如图8

Airbnb支付平台如何进行异常检测

图8

从上图可以看出，Airbnb的预警系统非常棒，检测出误差项的大部分毛刺。注意到，其实有些点在人肉眼看来是正常的，但实际是异常数据也被检测出来了。

经过Airbnb内部测试发现这个模型异常数据检测的功能准确。

作者介绍：侠天，专注于大数据、机器学习和数学相关的内容，并有个人公众号：bigdata_ny分享相关技术文章。

感谢黄玲艳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号： InfoQChina ）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群 Airbnb支付平台如何进行异常检测（已满），InfoQ读者交流群（#2））。