[大数据]优化实战篇—UDAF批量调用外部请求(02)

批量调用外部请求

这是我们实战优化篇的第二篇文章，和上一篇一样都是我们做项目遇到的，前面介绍过这个项目的背景，我们做的是舆情监控这一块的，涉及到和外部算法系统做交互，其实就是调用算法接口。

面对这样的背景，我们首先想到的就是通过UDF 来做，当然我们也是这么想的，接下来我们就看一下这个方案遇到的问题以及如何优化，我们前面也写过很多关于UDF的了，你可以参考前面的文章。

1. Hive实战之UDF分词
2. Hive实战之UDF解析IP地址
3. Hive实战之UDF 加密
4. Hive 实战之UDF 复杂JSON 处理
5. Hive实战之UDF汉字首字母

第一版 UDF 外部请求

我们第一版其实就是一个普通的UDF ,其实我们知道Hive 的UDF 分三种，UDF、UDAF、UDTF ，我们直接看代码，这个代码很简单，就接收11个参数，然后发起外部请求

了解本专栏 订阅专栏 解锁全文 超级会员免费看