[系统运维]Linux实践学习笔记2 | DataWhale组队32期

哈哈哈，我又来参加DataWhale组队学习了，本期是第32期组队学习，具体时间20211213~20211230，学习网址如下：
课程链接
备份链接

任务5

5.1 学习python下os模块处理文件和目录的函数

python 中 os 模块异常强大，提供非常多的处理方法，都记住确实困难，可以用到时再查询，下表列出了64种方法，可以参考。

5.2 学习python下sys模块和传参函数

sys模块提供了一系列有关Python运行环境的变量和函数。
具体如下：

5.3 os、sys 函数使用实践

接下来，编写 test5.py 来实现如下功能：

• 打印命令行参数
• 使用os模块打印/usr/bin/路径下所有以m开头的文件

根据前面学习的内容，使用 sys.argv 方法即可获得命令行参数；使用 os.listdir(path) 可以获取目录下所有文件和文件夹，而题目要求打印的只是文件，还需要 os.path.isfile(xxx) 判断一下，至于 m 开头可以使用 str.startswith 方法。

完整代码如下：

#! /usr/bin/env python3

import os,sys
print(sys.argv[0])
print(sys.argv[1])
print(sys.argv[2])

print('*' * 100)
dir_name = '/usr/bin'
for f in os.listdir(dir_name):
    fullname = os.path.join(dir_name, f)
    if os.path.isfile(fullname) and f.startswith('m'):
            print(f)

任务6

6.1 学习python模块化

模块是一个包含函数和变量的文件，其后缀名是.py。模块可以被别的程序引入，以使用该模块中的函数等功能。这也是使用 python 标准库的方法。

在任务5中创建的 test5.py 就是一个模块。

6.2 创建指定文件夹

创建脚本如下：

mkdir affairs

6.3 python模块化代码实践

根据要求，读取网络文件要写成方法，就是说这个 url 要作为一个参数，而不是常量，正好可以用到任务5学到的 sys.argv[1] 方法来向python模块传入参数。

功能1：affairs.py 代码完成 https://mirror.coggle.club/dataset/affairs.txt 文件的读取，这里可以直接用 pd.read_csv('https://mirror.coggle.club/dataset/affairs.txt') 来完成。这一部分建议写为函数。
功能2：test6.py 可以导入 affairs.py 代码
功能3：test6.py 可以进行命令行解析，输出 affairs.txt 具体的第几行内容。

affairs.py 代码如下

#affairs.py
import pandas as pd

def read_url(url):
    df = pd.read_csv(url)
    print(df.head()

由于目录层级是这样的，import 引入 affairs 模块时，因为 affairs.affairs

/home/datawhale/mba1398/datawhale/        
                                 test6.py        
                                 affairs/            
                                 affairs.py

test6.py 代码如下

#test6.py
import sys
from affairs.affairs import read_url

url_para = sys.argv[1]
read_url(url_para)

执行效果如下：

任务7

7.1 sleep实现程序休眠

在没有学习后台执行任务的方法之前，我能想到的让程序一直运行的方法就是 while true 了。( Ctrl + C 终止程序）

import time

while True:
    time.sleep(10)
    print(time.ctime())

7.2 学习 & 和 nohup后台执行的方法

• 命令末尾加上 & 参数可以让程序在后台执行，缺点是窗口关闭后程序就会终止（Ctrl + D 也会终止程序），优点是执行命令之后，终端仍可以接受输入
  
  直接关闭窗口之后，使用 ps -ef 命令查看进程，发现该进程已经不存在。
  

• nohup 可以让程序一直在后台运行，即使窗口关闭，缺点是使用 nohup 命令后，终端不再接受输入（使用 exit 命令退出 nohup 进程）
  
  关闭窗口之后，去查看 nohup 命令输出文件 nohup.out 发现程序并没有终止，一直再打印信息
  
  小插曲，由于执行 nohup 命令时未显示进程号，而本次组队学习场景，好多同学使用了相同的命令，导致使用 ps -ef 命令也找不到自己的进程，无奈只能 kill 了所有的跟我命令一样的进程，kill 之后发现还是不好使，尴尬了。。。自己目录下的文件一直在打印内容，文件大小一直在变大，眼看要 60M 了，看着好揪心，删除 nohup.out 文件之后居然没自动创建，哈哈哈，看来这次是干掉了。

为继续进行本次学习，特将 sleep.py 文件名修改为 sleep_mba1398.py。
使用 nohup 命令后，依次使用 Ctrl + Z bg jobs -l kill -9 PID 即可看到进程后台挂起又被杀死的过程。

• 同时使用 nohup &
  同时使用 nohup & ，既可以实现输入命令之后还是接受输入，又可以保持程序一直运行（即使窗口关闭）

此处实验效果较差

7.3 学习tmux的使用

使用 tmux 可以创建一个虚拟的会话终端，shell 终端的关闭不会影响虚拟终端的任务执行，这样我们就可以把耗时较长的任务放到虚拟终端里去执行。
tmux 主要有以下用法：

下面使用 tmux 将步骤1的程序进行后台运行，并将输出结果写入到txt文件。（ -u 参数比较关键，代表程序不启用缓存，也就是把输出直接放到目标文件中，否则容易出现看不到数据的情况）

退出 tmux 并关闭 shell终端窗口，然后再次打开 shell终端窗口

由上图可以看到，python程序在持续运行，tmux 挺强大，学习了。

至此，本次任务学习完毕。