辽宁红网

  1. 首页 > 生活杂烩 > 潮科技 > >

时效性|一文搞懂：离线数据、实时数据究竟该如何选择( 二 )


缺点

  • 需要不停地进行数据计算，即每秒钟或者每分钟进行数据清洗和计算，集群资源消耗大。离线数据处理，任务一天跑一次，一次1小时，实时数据处理每分钟跑一次，一天24小时都在跑。
  • 数据周期短，由于是流式处理的方式，相应的组件在实时处理方面能力强，但是没办法存储太长时间的数据，如果容器只进不出，水终究会溢出。因此，一般数据计算的周期会限定在一周内居多。
时效性|一文搞懂：离线数据、实时数据究竟该如何选择
文章插图
三、离线、实时各自适用的场景是什么，如何选择?数据的应用场景总结下来其实就是两个，数据分析与数据应用。
1. 在分析方面，数据时效性的选择依据是什么呢?1）业务经营分析、财务分析准确性大于时效性
即对于数据分析的场景，更在意的是能够更加准确地反映业务表现情况，即使T+1天后才可以看到数据也可以接受。尤其是财务结算，一般是月度结算或者季度财报，准确性是第一位的。
2）预警监控类分析，需要追求实时性
如果所有的分析数据都是需要隔天才能看到，肯定是不行的。如果系统宕机了，或者服务异常导致产品不可用，用户投诉才发现或者隔天数据分析才发现，带来的业务损失就无法挽回了。因此，还需要有实时的数据分析模块，对业务核心指标、系统服务指标进行最小延迟的预警监控。
所以，在数据分析场景下，离线数据为主，实时分析要有但不宜过度追求实时性。一般的数据可视化平台，有一个实时数据模块就可以了，其他的主题分析以离线数据为主。
2. 数据应用方面，数据时效性要求高于准确性1）个性化推荐，用户行为需要实时反馈
你在浏览头条的时候，对推荐的内容点击了“不感兴趣”，相关的内容很快就隐藏了。同样，你在淘宝上搜索或加购了某个产品，再看列表页时，推荐的也都是相关内容。针对个性化推荐的场景，就要做到数据的最小延迟，如果等用户都退出App了数据才计算完成更新，用户就流失掉了。
2）用户运营及营销场景
在用户运营场景中，流失用户召回、会员运营等活动中，对数据时效性要求并没那么高，例如你要对某个城市的下单用户进行短信营销（apppush），不对今天当天下单的用户营销影响也不大。
而对于实时的场景触达，就需要实时数据了，例如，用户打开App，实时判断用户是否是新客（截至本次访问未下过单），发放新客大礼包。
所以在CDP用户运营平台的标签建设时，既需要有离线标签，也需要有实时标签。
3）选择依据小结
数据时效性的选择时，要看具体应用场景对准确性、时效性的要求，实时和离线数据的应用场景选择可以参考下图：
时效性|一文搞懂：离线数据、实时数据究竟该如何选择
文章插图
时效性|一文搞懂：离线数据、实时数据究竟该如何选择
文章插图
四、总结不管是离线数据还是实时数据最终都是为了解决业务场景下的问题，搞懂其差别和基本原理后，再去选择到底是实时还是离线，可以做到用最小的资源成本达成业务目标，而不是一味地追求实时，或者永远只能离线。
#专栏作家#数据干饭人，微信号公众号：数据干饭人，人人都是产品经理专栏作家。专注数据中台产品领域，覆盖开发套件，数据资产与数据治理，BI与数据可视化，精准营销平台等数据产品。擅长大数据解决方案规划与产品方案设计。
本文原创发布于人人都是产品经理，未经作者许可，禁止转载。
【 时效性|一文搞懂：离线数据、实时数据究竟该如何选择】


上一篇：百度贴吧|拆解Reddit：翻版贴吧，魅力何在

下一篇：智微科技2021联合新品发布会圆满落幕