大数据架构的组成模块

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，今天我们就再来了解一下，大数据架构的组成模块都包含了哪些。

大数据架构的组成模块都包含了哪些

1、数据收集模块

主要负责收集各种数据源的数据，包括日志文件、网络请求、数据库、消息队列等，并将这些数据转换为文件或者消息向后传递。

2、数据转存模块

主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。

3、ETL模块

主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库等。

4、数据仓库模块

这是整个架构的核心，数据仓库是数据有组织的集中存储的地方，负责数据的存取和管理。

5、元数据管理模块

主要负责记录和约束数据仓库中数据的含义和格式，控制着数据的生命周期和数据质量。

6、分析引擎模块

数据分析师交互多的模块，主要负责执行各种分析语句或代码大数据架构图，完成各种分析任务。

7、作业管理与调度模块

负责分析作业的管理和定时调度，包括作业的增删改查、查看修改历史、设置调度定时和执行引擎等。

8、资源分配与调度模块

主要负责在多作业同时运行的场景下，有效协调和分配集群的资源，使资源利用率大化。

大数据架构的组成模块.中琛魔方大数据分析平台表示基于分布式技术构建的大数据平台能够有效降低数据存储成本，提升数据分析处理效率，并具备海量数据、高并发场景的支撑能力，可大幅缩短数据查询响应时间，满足企业各上层应用的数据需求。

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!