前言
parse_url、parse_url_tuple 是hive内置函数,可以解析URL,区别在于,parse_url一次只能输出一个值,parse_url_tuple 可以输出多个值,parse_url_tuple 函数可以和LATERAL VIEW 搭配使用;
一、parse_url ()
解析URL字符串,partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。 【host,path,query,ref,protocol,file,authority,userinfo】这些可以理解为关键字 通过关键字可以获得url中对应的字段数据 示例1:
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','PROTOCOL');
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','HOST');
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','PATH');
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','QUERY');
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','QUERY','user_id');
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','QUERY','platform');
select parse_url('user_id=10000&platform=ios','QUERY');
示例2:
select parse_url(concat('https://www.baidu.com/?','user_id=10000&platform=ios'),'QUERY','user_id');
select parse_url(concat('https://www.baidu.com/?','user_id=10000&platform=ios'),'QUERY','platform');
二、parse_url_tuple()
语法: parse_url(string urlString, string partToExtract [, string keyToExtract]),parse_url_tuple功能类似parse_url(),但它可以同时提取多个部分并返回 返回值: string 说明:返回URL中指定的部分。partToExtract的有效值为:HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO. 示例1:
select parse_url_tuple("http://www.baidu.com/find?cookieid=4234234234",'HOST','PATH','QUERY','QUERY:cookieid');
示例2:
with temp as
(select "https://www.baidu.com/hzy?user_id=10000&platform=ios" as url )
SELECT b.*
FROM temp
LATERAL VIEW parse_url_tuple(url, 'HOST', 'PATH', 'QUERY', 'QUERY:user_id', 'QUERY:platform') b
as host, path, query, user_id ,platform;
参考链接:https://blog.csdn.net/zengxianglei/article/details/89969144
|