(1)使用管理员账户和密码登录MySQL,使用以下命令:
mysql -u debian-sys-maint -p
(2)创建web_log数据库,使用以下命令:
CREATE DATABASE IF NOT EXISTS web_log;
(3)创建web_log用户,设置密码为123456,使用以下命令:
CREATE USER ‘web_log'@'%' IDENTIFIED BY ‘123456’;
FLUSH PRIVILEGES;
(4)授予web_log用户操作web_log数据库的权限,使用以下命令:
GRANT ALL PRIVILEGES ON web_log.* TO ‘web_log’@’%’;
(5)exit退出,使用web_log用户登录数据库 (6)创建shop_count_rank表,使用以下命令:
CREATE TABLE shop_count_rank (
shop varchar(10) NOT NULL,
count int,
rank int,
day char(10) NOT NULL,
hour char(2) NOT NULL,
PRIMARY KEY(shop,count,rank,day,hour)
);
增量导入出hive数据到MySQL,使用以下命令:
sqoop export --connect jdbc:mysql://localhost:3306/web_log --username web_log --password 123456 --table shop_count_rank --export-dir /user/hive/warehouse/web_log.db/ads_web_log --input-fields-terminated-by "\001" --update-key shop,count,rank,day,hour --update-mode allowinsert --m 1
(7)编辑web_log_export.sh脚本中,使用以下命令:
vim web_log_export.sh
写入以下内容:
sqoop export --connect jdbc:mysql://localhost:3306/web_log --username web_log --password 123456 --table shop_count_rank --export-dir /user/hive/warehouse/web_log.db/ads_web_log --input-fields-terminated-by "\001" --m 1
|