数据|数据出现波动不要慌，手把手教你搭建数据异常监控体系

#本文为人人都是产品经理《原创激励计划》出品。
当数据出现波动时，数据分析师不免要对导致数据波动的背后原因进行筛查，进而找到解决路径。然而，数据异常的原因该怎么找，才是准确且合理的呢？本文作者便总结了一套从0到1搭建数据异常监控体系的有效策略，也许会对你有所帮助。

文章插图
前言日常观察业务数据时，如果数据出现波动，我们心里总会犯嘀咕：这个波动到底是不是在正常范围内？如果数据与业务预期相差了好几倍，那我们又头疼了，原因那么多，到底哪个才是导致数据波动的原因？
别慌，这篇文章中，教你从0-1搭建数据异常监控体系。
数据分析师的面试总是绕不开一类经典的案例题：
如果日活下降了，你会怎么定位问题？
如果销售额上升了，你会如何寻找原因？
总结一下这类问题的形式：
如果XX指标发生了波动（上升或下降），需要你去定位原因，你的分析思路是什么？
这里大部分人的回答是，我会看看数据具体的波动时间是什么时候？然后看看当天我们有没有做什么活动或者产品改版？
业务经验丰富一点的还会说，我会把用户分成新老用户，看看具体是哪个人群结构发生了波动？我还会……
这样回答有问题吗？没有，但是回答得好不好呢？可能你自己心里也犯嘀咕，因为我们这种东一榔头西一棒槌的答法，有没有漏掉什么我们自己心里也没有底。
实际上，对于这种数据波动的问题，考察的是你系统性思考的能力，也就是能否站在全局角度，通过严谨的逻辑与业务结合来思考问题。
所以，今天和大家分享如何从0-1搭建数据异常监控体系。
一、数据异常检测数据异常。所谓异常，可以理解为不符合预期的数据。这里的预期可以分为两个部分：业务预期和合群预期。

业务预期：业务上不符合预期；
合群预期：波动或空间上不符合预期。

业务预期比较好理解，有经验的业务人员在做一次新的运营活动时，心里往往会有个预期的数据值。当实际值在心里预期之外，可能就需要拉着分析师找原因。
合群预期是一种定量的判断，有两个条件：

异常数据跟样本中大多数数据不太一样；
异常数据在整体数据样本中占比比较小。

所以重点在合群预期的判断上，转换成业务语言就是：什么样的波动才算是异常呢？日活从20w掉到15w算不算异常？
如果我们每天的日活如下图所示，在20w上下波动，突然掉到15w，算不算异常？

文章插图
如果我们的日活如下图所示，具有明显的周期性波动（工作日在20w左右，节假日在15w左右），那12月12日的日活为15w，算不算异常？

文章插图
通过上面的例子，我们知道，所谓异常，要结合具体的业务场景来看，对于合群预期，有没有科学的方法来检测数据波动导致的异常与否？
答案是有的，对于波动异常检测的方法主要有：z-score检测（3sigma准则）、分位数分析、孤立森林、聚类、lof局部异常因子检测、one-class svm（适用高维空间）等。
下面简单介绍下常用的3sigma准则是如何判别异常的。

文章插图
统计学教材中，关于3sigma的定义为：正态分布下，数据落在μ±3σ区间内的概率为99.7%。
所以对于任意一组数据，只要我们知道了μ和σ，那我们就可以设定正常值的上下限（μ-3σ，μ+3σ），只要在这个范围之外的值，我们就认为是异常值。