erp|IT 战略规划方法论( 三 )

Hadoop拥有大规模的并行处理框架，作为一个开源社区，它提供解决大数据相关问题的软件，包括数据存储、集成、处理等数据分析工具。
Hadoop由HDFS、MapReduce、Hbase、Zookeeper、Oozie、Pig、Hive等核心组件组成。其核心技术是HDFS和MapReduce。
HDFS提供海量数据的存储，MapReduce提供海量数据的计算。工作流Azkaban，一致性服务Zookeeper和Elastic。搜索是通过大数据存储和计算来实现的。最后，实现了大数据分析的可视化。
数据收集包括Sqoop/FTP用于批处理，Logstash用于日志收集，MQ/Kafka用于消息队列，pyspider用于网络。从企业内部系统和外部网页收集结构化和非结构化数据。
与传统的数据分析相比，大数据的数据采集实现了数据量的扩展。数据源不仅局限于企业内部的软件数据，还实现了外部数据的获取。
其次，大数据的数据采集实现了数据采集类型的扩展。采集到的数据不仅限于格式化数据，还包括大量的非格式化数据，可以采集到具有较高商业价值的数据。为数据存储分析和数据应用铺平了道路。
大数据的存储和计算主要采用分布式计算和分布式文件存储HDFS，实现对分布式计算框架YARN、数据仓库Hive、分布式数据库MongoDB、Spark SQL、Spark Streaming、graphhyx等的支持。
与传统的数据分析相比，由于数据样本数量的激增，存储和存储能力较差。大数据的计算对数据的存储提出了更高的要求。
在海量数据样本的背景下，分布式存储技术将数据样本分散存储，有效满足海量数据的存储需求。另一方面，与传统的数据分析相比，大数据的分析计算时间需要更敏捷的反应速度。大数据可以对数据样本进行实时分析，从而为商业决策提供更及时、准确的指导。
最后，在进行数据采集和数据存储计算时，通过数据应用可以更直观地展示数据分析的结果。
大数据的应用分为两部分:可视化分析工具和可视化分析应用。可视化分析工具分为AD hoc查询、报表、图形显示、交互探索等形式，实现大数据分析结论的直观展示。可视化分析的应用分为专题分析和实时分析，根据业务需求呈现数据，为业务战略提供指导。
数据报表与BI可视化：
进行数据指标体系规范，统一定义，统一维度区分，进行标准化可配置数据报表设计，直观的可视化输出设计，包括财务、销售、供应链等多种数据类别。企业的报表通常可分为基础查询类报表、管理层分析报表和主题分析报表。
基础查询类报表：来自业务台账和业务凭证生成的报表，比如销售业绩查询、商品库存查询、拜访记录查询、采购订单查询等。
管理层分析：日常经营指标预测与分析。例如店长业绩管理看板、库存管理、异常店铺管理等。这类报表基于日常管理工作，通过查看这类数据报表来监控所负责业务的当前状态，发现问题，主要用于决策辅助。
主题分析：针对具体的业务，进行精细化业务分析，以业务单元战略为目标，在建立数据平台和可视化基础上，输出日报、周报、月报、各种专题分析报告。例如A/B测试报告等。
战略分析与决策驾驶仓：基于企业经营层面的分析和重大决策改变的分析，通过大数据获取外部数据，结合企业的经营分析中产生的大量数据和指标进行分析、预测和预警。
如图腾讯大数据架构。

文章插图
3）企业架构与集成
① TOGAF架构方法
EA主要是业务架构与IT架构的内容，及相互之间的关系。
主流的EA架构包括zachman、togaf、FEA等，企业架构方法有很多，TOGAF是最主流的，超过80%的福布斯全球排名前50的公司在使用，而且支持开放、标准的SOA参考架构。企业架构规划最常采用TOGAF架构方法。