[大数据]记录一些自己学习大数据过程中的小笔记

1.Pyspark中print用不了
解决办法：命令行先加入from __future__ import print_function ?

2.linux重启断网后，ifconfig显示没有ens33
解决办法：

ifconfig ens33 up
systemctl stop NetworkManager
systemctl disable NetworkManager
ifup ens33
systemctl restart network.service

3. linux中的python安装第三方库一直报错
解决办法：下载文件解压后，再用python setup.py install

4.zepeelin连接hive显示?zeppelininode="/tmp/hadoop-yarn":root:supergroup:drwxrwx---权限不够
解决办法：

注意下各种权限，hdfs dfs -chmod -R 777 /tmp

5.hive中对时间处理，如果时间没有秒钟，无法使用hour函数，可以用concat加上
解决办法：hour(date_format(concat(order_time,':00'),'yyyy-MM-dd HH:mm:ss'))

6.zepeelin启动

解决办法：

start-all.sh
zkServer.sh start
service mysql start
hive --service metastore?? ?#进程需独占一窗口
nohup hive --service hiveserver2 &?? ?#进程需独占一窗口
./zeppelin-daemon.sh start

7.sqoop启动
解决办法：

bin/sqoop list-databases \
?--connect jdbc:mysql://node01:3306/ \
?--username root --password ****

8.sqoop报错 ?ERROR tool.ExportTool: Error during export
解决办法：mysql后面一定要使用node01（自己的ip地址）
bin/sqoop export ? ? --connect jdbc:mysql://node01:3306/app_didi ? ? --username root ? ? --password *****? ? ?--table t_order_total ? ? --export-dir /user/hive/warehouse/app_didi.db/t_order_total/month=2020-04/

9.启动minicoda，使用superset
解决办法：conda activate superset ? 关闭conda deactivate

10.启动与关闭superset
解决办法：

gunicorn --workers 5 --timeout ?120 --bind node01:8787 "superset.app:create_app()" --daemon
ps -ef | awk '/superset/ ?&& !/awk/{print $2}' | xargs kill -9