揭秘360安全大脑背后中枢——奇麟智能实时大数据平台

网络世界，表面上岁月静好，实则暗涛汹涌。
“450万移动端新增恶意程序样本，1006亿次钓鱼网站攻击，52.8亿次恶意程序攻击，224亿个骚扰电话，177亿个垃圾短信” 。
【揭秘360安全大脑背后中枢——奇麟智能实时大数据平台】没有感知的人会产生一种错觉，似乎网路安全威胁已是上个时代的事情，网络灰暗世界早已风平浪静。实际上，网络攻击不仅没有消失，反而愈加猖獗，新型病毒木马、攻击手段层出不穷，无时无刻不在制造新的威胁。
上面这组数据是360公司(股票代码：601360.SH，简称360)在2020年拦截或识别的网络威胁数量，假设这些威胁没有被“看见”和处理，后果将不堪设想。让威胁能够被看见的根源在于360有着全球排行前三的网络安全大数据，包括290亿样本数据、22万亿安全日志、80亿域名信息、2EB以上的安全大数据，量级比肩微软、谷歌。

文章图片

久负盛名的开源大会ApacheCon首次举办亚太会议
作为一家世界级的安全公司，360十分注重技术的领先性，与全球各大开源社区保持密切合作，是推动新技术发展的重要力量。8月7日，久负盛名的开源大会ApacheCon举办首次亚太峰会，会议以线上的方式进行，360、阿里巴巴、美团、网易等中国科技公司参会，会上360公司技术专家范新普发表演讲分享了360实时计算平台的演进史，进而揭开了起着360安全大脑中枢作用的“奇麟大数据”平台的神秘面纱。
业务需求+技术发展奇麟大数据平台应运而生
据悉，360安全大脑以安全大数据分析为基础，具备感知、学习、推理、预测、决策的五大能力，当威胁出现，大脑第一时间与底层安全大数据进行比对，做出操作决策，保障用户网络安全。让大脑对威胁及时做出反应，需要一套强大的“中枢”系统作为支撑，这一系统需要通过分布式的实时大数据处理，来保障360安全大脑的反应的及时性、稳定性。在此背景下，“奇麟大数据”平台应运而生。
由于存在高并发的海量数据(行情603138,诊股)处理需求，要求“中枢”具有足够大的吞吐量，更为重要的是，在安全场景下，对数据处理的实时性要求极高，从发现病毒到拦截病毒的过程中，哪怕毫秒级的延迟都有可能让病毒有可乘之机，造成不可挽回的损失。
从行业角度看，在如今的“快”时代中，越来越多的企业开始重视数据的实时性，曾经主流的“批处理“已经跟不上数据发展的脚步。随着技术的升级以及大数据的发展，“流处理”思维应运而生，“实时性”已成为企业构建技术架构的第一考量。Apache Flink 是一个分布式处理引擎，用于离线和实时的计算。凭借其极致的流式处理性能和优秀的框架设计吸引了众多开发者加入，各大科技公司也都纷纷引入Flink作为其主要的流式开发引擎。
十余年间，360始终致力于实时大数据计算平台的研发，时刻紧跟全球最前沿的技术发展。2020年，经过技术的多次迭代，360结合最新一代“流处理”开源引擎Apache Flink，正式推出了“奇麟大数据平台”，向下对接底层网络安全大数据，向上对接业务系统的算法、算力需求，作为360安全大脑的“中枢”发挥着至关重要的作用。
回溯360实时计算平台的演进史，范新普表示，360在实时计算方向有多年的积累，从十几年前就开始利用Storm引擎搭建实时计算平台，早期与Storm社区也有许多交流与贡献，虽然Storm是一个很棒的开源引擎，但是Flink的出现让360看到完全取代Storm的可能。据了解，Storm属于初代实时计算引擎，直到为流式计算而生的Flink出现，从各方面实现了对Storm的超越，不仅性能的消耗低于Storm，数据的吞吐量高于Storm，延时也要低于Storm，甚至比Storm更易于编写。