IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 使用CM的优点、ClouderaManager的产生背景和应用场景、Apache版本的大数据组件、ClouderaManager管理的CDH版本大数据组件 -> 正文阅读

[大数据]使用CM的优点、ClouderaManager的产生背景和应用场景、Apache版本的大数据组件、ClouderaManager管理的CDH版本大数据组件

Apache版本的大数据组件

优点

完全开源,更新速度很快
大数据组件在部署过程中可以深刻了解其底层原理
可以了解各个组件的依赖关系

缺点

部署过程极其复杂,超过20个节点的时候,手动部署已经超级累
各个组件部署完成后,各个为政,没有统一化管理界面
组件和组件之间的依赖关系很复杂,一环扣一环,部署过程心累
各个组件之间没有统一的metric可视化界面,比如说hdfs总共占用的磁盘空间、IO、运行状况等
优化等需要用户自己根据业务场景进行调整(需要手工的对每个节点添加更改配置,效率极低,我们希望的是一个配置能够自动的分发到所有的节点上)

ClouderaManager管理的CDH版本大数据组件

Cloudera Manager是用于管理CDH群集的端到端应用程序。

缺点

server和agent需要占用额外的内存和cpu(server占用内存为2G,agent占用内存1G,总共cpu为0.5核)
对linux常用命令需要了解颇深
对hadoop的apache版本有一定的安装经验和调优经验

优点

统一化的可视化界面
自动部署和配置,大数据各类组件(hadoop、hive、hue、kudu、impala、zookeeper等)安装、调优极其便捷
零停机维护(免费版本不具有弹性升级)
多用户管理(权限控制,支持ldap)
稳定性极好(部分优化措施都已经调整好)

在这里插入图片描述

应用场景

  	1. 适用于节点在5个以上、各类大数据服务超过5个的集群,因为有些小公司紧紧就用了hdfs、yarn、hive、spark几个服务,为了节省服务器等资源,不需要部署cm
 	2. 适用于所有的大数据公司
 	3. 适用于对于大数据组件版本不需要经常变动的公司,例如:有些公司就是喜欢钻研新技术,然后喜欢新版本,但是由于cm的免费版本不支持弹性升级,所以不建议喜欢新技术的公司用
 	4. 适用于运维人员,因为该平台安装好以后,维护工作相对来将就轻松许多,例如:使用apache版本的运维人员,对某一个组件进行调优,需要消耗半天的时间进行调整,效率极低;再比如安装1000个节点,需要手动部署,工作量可想而知

补充:
cm在国内用户量很大,戴尔、一号店等知名公司都在使用
cm和ambari在主流的大数据平台框架中,用户量比例很高

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-16 17:44:46  更:2021-12-16 17:45:49 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:39:49-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码