| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 根据 Application ID找到 Hive 的 SQL 语句 -> 正文阅读 |
|
[大数据]根据 Application ID找到 Hive 的 SQL 语句 |
根据 Yarn 的 Application 找到 Hive 的 SQL,需要根据执行引擎(tez 或者 mr)的不同有不同的方法。以下以?TEZ 引擎 为例。 1. 通过界面找到 Application点击 Tracking URL 后面的链接,当运行的时候是 “ApplicationMaster”。当运行结束后是 “History” ? ?进入 Application 界面,如下图所示。 ? ?点击 [DAGs],一个 Appcation 可能运行多个 DAG,一个SQL 运行生成一个 DAG。 ? 点击对应的 DAG,进入下面的界面 ?? ?点击【Download data】,下载一个 zip 文件,点击解压此文件。 ?进入目录【dag_1655120277783_0036_1】,如下图所示。 打开文件【dag-extra-info.json】,搜索 【description】,找到dagPlan/dagContext/description,就是执行的SQL。由于'换行符'替换为 \n,如果执行此SQL,需要把 \n 换为'换行符' 或者空格。 2. 通过 timeline-server api假设 timeline server 监听?172.23.233.232 8188 端口 那么假设 application id 是?application_1660210417920_0001。首先根据 application id 找到对应的 dag id,然后第2步根据 dag id 查找dag 的详细信息,详细信息里包含 SQL。 2.1 根据 application?找到对应的 dag id
根据?TEZ_DAG_ID 找到后面的 dag id。
2.2 根据 dag id 请求 dag 的详细信息
搜索 description 找到对应的SQL
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 9:52:53- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |