碳基|阿里达摩院：2021十大科技趋势！( 五 )

趋势六：数据处理实现“自治与自我进化”

文章插图

随着云计算的发展、数据规模持续指数级增长，传统数据处理面临存储成本高、集群管理复杂、计算任务多样性等巨大挑战；面对海量暴增的数据规模以及复杂多元的处理场景，人工管理和系统调优捉襟见肘。因此，通过智能化方法实现数据管理系统的自动优化成为未来数据处理发展的必然选择。人工智能和机器学习手段逐渐被广泛应用于智能化的冷热数据分层、异常检测、智能建模、资源调动、参数调优、压测生成、索引推荐等领域，有效降低数据计算、处理、存储、运维的管理成本，实现数据管理系统的“自治与自我进化”。

数据管理系统一直以来是企业IT架构的重要组成部分，随着物联网、云计算技术的深入发展和开源生态的不断完善，传统数据管理的局限性日益凸显，存储容量有限导致公司无法长时间存储和管理海量数据集，元数据来源广泛、种类繁多，具有多源、异构的特点，这使其在管理上面临数据汇聚、集成、存储和检索成本高的问题；另一方面计算资源匮乏，缺乏统一管理接口和大数据处理环境所需的可伸缩、可拓展的灵活性和高效性。数据管理系统需要承担更加复杂的多租户、多任务下的执行工作，人工手动管理和运维再也无法有效应对海量多源异构的数据规模和丰富复杂的数据处理场景带来的问题和挑战。

传统模式下，系统超载、资源消耗过剩不仅要影响到其他正常运行的系统作业，而且需要大量的人力资源进行系统排查和纠正，难以确保系统有效率的运行状态。因此通过智能化方式实现数据管理系统的升级优化将成为未来数据计算与处理的必然趋势。将系统技术与人工智能技术相结合，利用机器学习算法在数据仓库与数据库系统管理、资源调度、引擎优化、压测生成等各个方面进行数据系统的自我管理，人工智能将充分嵌入到数据处理的整个生命周期，帮助提高数据查询的效率，提升整体资源调度的优化性。例如通过智能化手段对冷热数据分层分离，让计算和存储资源得到充分利用，有效降低数据管理成本。通过分析系统运行状态和日志数据信息，利用人工智能建模，来实现动态系统参数调整和系统优化，显著降低系统数据管理者的运维成本。机器学习技术也将帮助系统建立更加准确高效的在线预警与实时监测系统，来实现智能化的运维管控和资源调配，帮助系统管理人员将更多的时间和精力集中在更重要的系统任务上。

同时，系统技术也将更多地辅助人工智能的深度发展，在大规模多样化数据集上进行高效的数据挖掘和机器学习优化分析的模型选择、元参数搜索、自动化的元数据学习、非结构化数据与结构化数据融合处理等工作，从而帮助系统变得更加智能、安全和可靠。

趋势七：云原生重塑IT技术体系

文章插图

在传统IT开发环境里，产品开发上线周期长、研发效能不高，云原生架构充分利用了云计算的分布式、可扩展和灵活的特性，更高效地应用和管理异构硬件和环境下的各类云计算资源，通过方法论工具集、最佳实践和产品技术，开发人员可专注于应用开发过程本身。未来，芯片、开发平台、应用软件乃至计算机等将诞生于云上，可将网络、服务器、操作系统等基础架构层高度抽象化，降低计算成本、提升迭代效率，大幅降低云计算使用门槛、拓展技术应用边界。