IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Apache Atlas服务安装 -> 正文阅读

[大数据]Apache Atlas服务安装

Atlas架构:

在这里插入图片描述
Atlas 是一组可扩展和可扩展的核心基础治理服务——使企业能够有效且高效地满足其在 Hadoop 中的合规性要求,并允许与整个企业数据生态系统集成。
Apache Atlas 为组织提供开放的元数据管理和治理功能,以构建其数据资产的目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作能力。

Atlas的核心功能依赖于sorl、hbase、kafka,安装Atlas前需要提前安装相关依赖服务。
安装步骤主要分为以下7步:
1、Hadoop安装
2、Hive安装
3、Zookeeper安装
4、Kafka安装
5、Hbase安装
6、Solr安装
7、Atlas安装

Atlas安装

1、下载安装source包
https://atlas.incubator.apache.org/1.2.0/InstallationSteps.html

2、通过mvn clean install和mv clean package命令进行安装和打包
打包成功后,在apache-atlas-sources-1.2.0/distro/target会生成安装包。
安装包目录如下:
在这里插入图片描述

2、solr创建索引
./solr create -c vertex_index -d /data/software/atlas-2.1.0/conf/solr -shards 3 -replicationFactor 2 -force #点
./solr create -c edge_index -d /data/software/atlas-2.1.0/conf/solr -shards 3 -replicationFactor 2 -force #线
./solr create -c fulltext_index -d /data/software/atlas-2.1.0/conf/solr -shards 3 -replicationFactor 2 -force #全图

3、开启中间件的atlas hook功能
如要采集hive的元数据,则需进入hive安装目录下的conf目录,在hive-site.xml中增加hook配置来开功能。

<property>
  <name>hive.exec.post.hooks</name>
  <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

4、安装Hive Hook
解压apache-atlas-2.1.0-hivehook.tar.gz
将hook解压目录报备至atlas的安装目录

5、执行./bin/atlas-start.py 启动atlas
初次启动会创建solr索引和hbase表等文件,时间较久。
在这里插入图片描述

6、初始化完成后
kafka、solr、hbase都会生成相应的atlas数据:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7、启动结束后,输入http://ip:21000,进入apache atlas管理端
默认账号和密码 admin admin
在这里插入图片描述
在这里插入图片描述

首次离线同步元数据

进入hook-bin目录 atlas-2.1.0/hook-bin
执行 import-hive.sh即可将hive当前的元数据批量同步至atlas。
在这里插入图片描述
在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-07-04 22:59:50  更:2022-07-04 23:02:51 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 21:36:00-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码