IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hive自定义函数 -> 正文阅读

[大数据]Hive自定义函数

一. UDF

  • IO要求-要解决的问题
  1. in:out=1:1,只能输入一条记录当中的数据,同时返回一条处理结果。
  2. 属于最常见的自定义函数,像cos,sin,substring,instr等均是如此要求。
  • 实现步骤(Java创建自定义UDF类)
  1. 自定义一个java类
  2. 继承UDF类
  3. 约定俗成的重写evaluate方法
  4. 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
  5. 在hive中执行add jar操作,将jar加载到classpath中。
  6. 在hive中创建模板函数,使得后边可以使用该函数名称调用实际的udf函数
  7. hive sql中像调用系统函数一样使用udf函数

布署步骤?

  • maven管理
  1. <project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; 
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd";>
    	<modelVersion>4.0.0</modelVersion>
    	<groupId>com.tianliangedu.course</groupId>
    	<artifactId>TlHadoopCore</artifactId>
    	<version>0.0.1-SNAPSHOT</version>
    <!-- 设置编码为 UTF-8 -->
    	<properties>
    	  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    		<maven.compiler.encoding>UTF-8</maven.compiler.encoding>
    	</properties>
    	<!-- 首先配置仓库的服务器位置,首选阿里云,也可以配置镜像 -->
    	<repositories>
    		<repository>
    			<id>nexus-aliyun</id>
    			<name>Nexus aliyun</name>
    			<url>http://maven.aliyun.com/nexus/content/groups/public</url>
    		</repository>
    	</repositories>
                    
    	<dependencies>
    		<!-- 引入hadoop-cli-2.7.4依赖 -->
    		<dependency>
    			<groupId>org.apache.hadoop</groupId>
    			<artifactId>hadoop-client</artifactId>
    			<version>2.7.4</version>
    			<scope>provided</scope>
    		</dependency>
                 
    		<dependency>
    			<groupId>org.apache.hive</groupId>
    			<artifactId>hive-cli</artifactId>
    			<version>1.2.1</version>
    			<scope>provided</scope>
    		</dependency>         
    	</dependencies>
    	<build>
    		<finalName>TlHadoopCore</finalName>
    		<plugins>
    			<plugin>
    				<artifactId>maven-assembly-plugin</artifactId>
    				<configuration>
    					<descriptorRefs>
    						<descriptorRef>jar-with-dependencies</descriptorRef>
    					</descriptorRefs>
    				</configuration>
    				<executions>
    					<execution>
    						<id>make-assembly</id>
    						<phase>package</phase>
    						<goals>
    							<goal>assembly</goal>
    						</goals>
    					</execution>
    				</executions>
    			</plugin>
    			<plugin>
    				<artifactId>maven-compiler-plugin</artifactId>
    				<version>2.3.2</version>
    				<configuration>
    					<source>1.7</source>
    					<target>1.7</target>
    					<encoding>UTF-8</encoding>
    				</configuration>
    			</plugin>
    		</plugins>
    	</build>
    </project>
  • 上传jar包至hive操作环境中
  • 进入到自己的所操作的hive环境目录中。
  • 加载jar包、声明函数、使用函数
  • 将jar包加入hive 交互中?add jar /home/hive/tianliangedu_course/04_udf/TlHadoopCore-jar-with-dependencies.jar;
  • 声明函数?create temporary function mask as 'com.tianliangedu.hive.udf.ValueMaskUDF';
  • 使用函数? ?

二. UDAF

  1. in:out=n:1,即输入N条数据,返回一条处理结果,即列转行。
  2. 最常见的系统聚合函数,如count,sum,avg,max等
  • 实现步骤
  1. 自定义一个java类
  2. 继承UDAF类
  3. 内部定义一个静态类,实现UDAFEvaluator接口
  4. 实现方法init,iterate,terminatePartial,merge,terminate共5个方法.

?

?

  • 在hive中执行add jar操作,将jar加载到classpath中。
  • 在hive中创建模板函数,使得后边可以使用该函数名称调用实际的udf函数
  • hive sql中像调用系统函数一样使用udaf函数

三. UDTF

  • 解决一行输入多行输出,即1:n,即行转列应用
  • 往往被lateral view explode+udf等替代实现,比直接用udtf会更简单、直接、更灵活一些
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-21 12:15:18  更:2021-10-21 12:15:30 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 2:35:27-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码