#环境导入
import os #对目录和文件进行读取及其他操作
import numpy as np  #矩阵计算的函数库
import pandas as pd #数据分析包
import matplotlib.pyplot as plt #绘图模块
import matplotlib.image as mpimg #图像基本操作模块，转换，通道等
import cv2 #图像处理库
import paddle
import warnings 
warnings.filterwarnings('ignore') # 忽略 warning

os模块

os.getcwd()函数，获取当前目录，工作目

?os.name?函数,获取当前使用的操作系统,其中?'nt'?是?windows，'posix'?是?linux?或者?unix

os.remove()函数,删除指定文件, os.remove('file.txt')

os.removedirs()函数，删除指定目录，os.removedirs('file')

os.system()函数，运行shell命令，不懂。

os.mkdir()函数，创建一个新目录

os.chdir()函数，改变当前路径到指定路径，os.chdir('/home')

os.listdir(）函数，返回指定目录下的所有目录和文件

参考详见https://blog.csdn.net/u013455430/article/details/79898600

numpy模块

NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

pandas模块

python的一个数据分析包，提供了大量能使我们快速便捷地处理数据的函数和方法。

matplotlib.pyplot

绘图与显示图像模块。

参考详见https://blog.csdn.net/qq_31192383/article/details/53977822

matplotlib.image

也是对图像的一些操作，比如颜色转换。

cv2

计算机视觉，图像处理库。

加载数据集

!unzip -q -o data/data99885/F_E_R.zip

数据标注

在paddle课程中十二生肖例子中的Config文件的基础上进行数据标注，生成数据集标注文件train和test。

虽然中途因为搞不清路径与函数名之间的关系有error，但最后误打误撞成功生成了数据集标注文件train.txt和test.txt。?

数据集定义

接下来我们使用标注好的文件进行数据集类的定义，方便后续模型训练使用。

将定义数据集写入单独的python文件，还是会因为路径原因找不到数据集。

考虑直接将代码放入主代码，此时可以运行了。

?模型选择和开发

network = paddle.vision.models.resnet50(num_classes=get('num_classes'), pretrained=True)#使用paddle高层API
model = paddle.Model(network)
model.summary((-1, ) + tuple(get('image_shape')))#模型可视化

模型可视化结果

?模型训练和优化

EPOCHS = get('epochs')
BATCH_SIZE = get('batch_size')
#优化函数
def create_optim(parameters):
    step_each_epoch = get('total_images') // get('batch_size')
    lr = paddle.optimizer.lr.CosineAnnealingDecay(learning_rate=get('LEARNING_RATE.params.lr'),
                                                  T_max=step_each_epoch * EPOCHS)

    return paddle.optimizer.Momentum(learning_rate=lr,
                                     parameters=parameters,
                                     weight_decay=paddle.regularizer.L2Decay(get('OPTIMIZER.regularizer.factor'))) #正则化来提升精度


# 模型训练配置
model.prepare(create_optim(network.parameters()),  # 优化器
              paddle.nn.CrossEntropyLoss(),        # 损失函数
              paddle.metric.Accuracy(topk=(1, 5))) # 评估指标

# 训练可视化VisualDL工具的回调函数
visualdl = paddle.callbacks.VisualDL(log_dir='visualdl_log')

# 启动模型全流程训练
model.fit(train_dataset,            # 训练数据集
          valid_dataset,            # 评估数据集
          epochs=EPOCHS,            # 总的训练轮次
          batch_size=BATCH_SIZE,    # 批次计算的样本量大小
          shuffle=True,             # 是否打乱样本集
          verbose=1,                # 日志展示格式
          save_dir='./chk_points/', # 分阶段的训练模型存储路径
          callbacks=[visualdl])     # 回调函数使用