[大数据]Kettle连接不上数据库及中文乱码问题解决

Kettle 连接数据库问题分析及解决

一、问题一：测试连接数据库出问题

1 将如下驱动包导入data-integration目录下的Lib目录

mysql-connector-java-5.1.40.jar
mysql-connector-java-8.0.17.jar

mysql-connector-java-5.1.40.jar提取码dny8
mysql-connector-java-8.0.17.jar提取码qqxh

2 重新测试连接数据库

如果连接成功，则结束，如果连接成功但是再进行数据转换时出错，或者其他问题往下看。（基本上驱动有了都会成功）

二、 问题二：测试连接成功，但是在进行转换运行时出错

1 这种情况基本上都是字符集问题

可能在你测试成功后，在进行在Kettle上执行SQL语句建立表时出错，是字符集错误没跑了。

2 修改字符集

将mysql下的字符集编码格式改为utf8mb4

utf-8编码可能2个字节、3个字节、4个字节的字符，但是MySQL的utf8编码只支持3字节的数据，而移动端的表情数据是4个字节的字符。如果直接往采用utf-8编码的数据库中插入表情数据，程序中将报SQL异常。

3 修改过程如下

修改mysql字符集编码为utf8mb4（Linux系统）

1 查看自己的数据库版本

SHOW VARIABLES WHERE Variable_name LIKE ‘character_set_%’ OR Variable_name LIKE ‘collation%’;

如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DMtDgUp9-1631938806029)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20210918121325215.png)]

2 进入自己的mysql安装路径修改my.cnf配置文件

我的安装路径是：/etc/mysql：在配置文件中添加如下内容：

[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
init_connect=‘SET NAMES utf8mb4’

3 重新启动数据库

再次查看数据库编码格式：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xtkO5J4d-1631938806031)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20210918121251784.png)]

可以看到，已经成功修改为utf8mb4格式

4 将数据库和已经建好的表也转换成utf8mb4

ALTER DATABASE （输入你自己的数据库名） CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
ALTER TABLE (输入你自己的表名) CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

5 将kettle中数据库连接中的高级添加下面一句话

set names utf8;

6 将kettle中数据库连接中的选项下的命令参数添加下面一句话

characterEncoding utf8;

通过上面几步，基本上可以解决Kettle连接数据库和中文乱码问题。