|
大数据分析平台的主要目标是为大数据技术研发和应用项目实施提供高效完备的开发与运行环境。为此，大数据分析平台的总体功能包括以下主要方面：
(1)云计算环境：整个平台基于云计算环境，主要包括：云存储、云资源调度与管理、云计算编程模型、云计算执行引擎等核心功能，支持对海量数据的存储、处理、建模、分析、展现等全过程的分布式并行化开发与运行;
(2)面向SaaS服务的开放式体系架构：整个平台采用开放式体系架构，支持插件式开发与集成，提供底层核心功能的API调用接口，为第三方开发提供高可扩展的平台环境，基于平台开发的应用可以SaaS服务形式提供给用户使用;
(3)多源异构数据集成：平台提供丰富的数据集成接口，支持与传统的关系型数据库产品以及互联网、物联网应用系统的数据采集接口的无缝集成，便于将多源异构数据导入到平台数据存储系统;
(4)海量数据云存储管理：提供PB级结构化和非结构化数据云存储与管理，支持高效的数据查询、索引、提取等基本数据集操作;
(5)高效数据ETL处理：提供分布式并行的ETL处理工具，全面支持数据质量问题处理;
(6)基于WEB的分析建模：提供基于WEB方式和基于工作流的数据挖掘建模系统，便于建模分析人员随时随地在线编辑和提交分析模型;
(7)离线分析与在线分析：提供以Hadoop为基础的离线分析环境和以Spark为基础的在线分析环境，满足不同应用场景下对数据分析响应效率的需求;
(8)知识库：平台提供算法库、模型库与案例库，支持用户将数据挖掘算法、分析模型及应用案例进行编辑和重用，不断积累成为用户知识库;
(9)可视化报表系统：平台提供可视化分析与报表系统，用户通过可视化分析工具、可视化引擎、报表模板等功能开展交互式可视化数据分析。
集成了上述核心功能的大数据分析平台，一方面可以有效支持科研工作者开展算法研究、模型设计、系统优化等探索性研发工作，并快速将研发成果集成到平台中，不断提升平台的技术先进性;另一方面可以有效支持企业级大数据应用系统的运营，以及第三方应用开发与扩展，促进行业应用解决方案不断成熟与完善。
|