|
Mapreduce+hive分析有分区情况下 书写流程将原始数据加载到HDFS平台sftp 192.168.56.2 将原始数据上传至linux本地root用户下 ls 命令进行查看是否上传成功成功：①启动Hadoop cd app/hadoop…/sbin/./start-all.sh 启动成功后 jps查看进程 此时，位置应处于sbin目录 ②回到Linux本地家目录下 cd ~ ③上传原始文件至hdfs根目录 hadoop fs -put xx.txt(上传文件名) /使用Mapreduce进行数据清洗，只保留日志中的用户手机号、访问网站,访问时间①创建项目②new floder – lib 导入jar包 – bulider path③创包 - 创类④书写代码创建Mapper类创建Reducer类创建分区类创建提交类⑤导出jar包在包名或者src处 右键–export–jar file-- 选择保存路径（起名xx.jar） ⑥将jar包上传至linux本地目录下ftp 192.168.56.2 连接 成功后直接拖进来⑦执行编写的类 hadoop jar xx.jar 包名.类名⑧执行完查看结果 出现下图代表成功⑨查看结果hadoop fs -cat /输出路径/part-r-00000 创建Hive数据库root用户下 输入 hive 命令 进入hivecreate database 数据库名; 创建完成，使用数据库 use 数据库名;创建存放清洗后数据的表cum_backupcreate table 表名(字段1 数据类型,字段2 数据类型,…)partitioned by (分区字段 数据类型)row format delimitedfields terminated by ‘分割方式’;加载HDFS的清洗后的日志数据到Hive数据库表中load data inpath ‘/之前的输出路径/part-r-00000’ into table 表名 partition(分区字段=’分区值’);load data inpath ‘/之前的输出路径/part-r-00001’ into table 表名 partition(分区字段=’分区值’);…有几个分区，将对应的日志文件加载到其分区中。hive sql分析 （都是查询语句 select 查什么 from 从哪里查 group by(分组) 根据哪一个字段分组）使用Sqoop将该表内容导入到mysql数据库明确知道要导出的内容，hive中的表以目录的形式保存在hdfs，所以将表中内容导出，实际上是将hdfs中表目录下的文件导出，因此需要先找到要导出的文件的路径，可通过Hadoop UI的形式查找。打开浏览器，地址栏：192.168.56.2:50070/user/hive/warehouse/数据库.db/表名/文件名明确导出文件路径后：回到root用户下登录到mysql,使用数据库，在数据库下创建表，这个表对应存储，hive中要导出的数据，所以字段应该一一对应，需要注意的是，mysql中的字符串类型为varchar，并且每个数据类型后应该给其对应的长度。例如：use hive; 使用hive数据库create table xx(id varchar(200),name varchar(200));mysql中创建好对应的表后，在root用户下sqoop export–connect jdbc:mysql://master(主机名)/数据库名(MySQL中使用的数据库)–username root–password 123456–table 表名(mysql中的表名)–export-dir 导出文件的路径（/user/hive/warehouse/数据库.db/表名/文件名）–input-fields-terminated-by ‘分割规则’–m 1导出成功后，回到mysql中，进行对表的查询，select * from 表名;
|