[人工智能]机器学习训练集、测试集、预测集数据扁平化（包括相对、绝对目录；os、pandas、opencv库的部分函数使用）

0 引言

机器学习涵盖了很多库与函数，博主也刚刚开始学习，本文主要讲一讲如何将图像数据扁平化，使其变为一维数组，便于后续机器学习的处理。（完整函数附于文末哦~）

1 确定我们读取图像文件的目录

1.1 绝对目录与相对目录
绝对目录是指从根目录（C、D、E盘等等）开始一直写到需读取文件的目录，如：

path_train = 'D:/python learning&training/pythonProject/Project/Project/DataCSV1'   

不过需注意直接从电脑中复制过来的目录是使用‘ \ ’分隔，但在Python中‘ \ ’为转义字符，有其他功能，可能出现占用而报错的情况。所以我们在电脑中将目录复制过来后，手动将‘ \ ’改为’ / ‘、’ // ‘或’ \ ‘，即可解决上述问题。
相对目录主要使用两个符号：’ ./ ‘、’ …/ '，分别表示当前目录与父目录（即上一级目录），所以对于同样的文件DataCSV1而言，我们可以从当前代码的目录出发，打开DataCSV1的相对目录：

path_train = '../DataCSV1'  

（注：博主的电脑中运行的代码是处于D:\python learning&training\pythonProject\Project\Project中，所以相对目录如图，如果大家的文件位置不一样，可以多次使用’ …/ '来找到文件）

2 定义图像预处理函数

在进行数据扁平化之前，我们要先将各类图像转化为统一的尺寸并进行滤波处理，因此定义以下函数:

def ImgPrcessing(path):

该函数需完成图像读取、尺寸统一化、滤波等操作，我们通过调用opencv库来实现：

    img = cv2.imread(path)           # 图片读取
    img = cv2.resize(img,(64,64))    #改变大小尺寸
    img = cv2.medianBlur(img, 3)        # 滤波

返回值则为img：

return img

3 定义训练集、测试集处理函数

为了使尽量少写重复的代码，因此我们再定义一个处理训练集和测试集的函数def train_val_process(path)，只给其一个参数path（需处理图像的路径地址）、返回值为处理后的图像：

def train_val_process(path):

首先，我们先定义两个列表用于存放数据集的数据及标号：

datas = []
labels = []

其次，我们逐一读取目标文件夹中的图像，并将他们的目录地址与图像名连接起来，得到一个指向单张图片的地址。此处我们使用了一组for循环嵌套语句：

    for dir in os.listdir(path):        # 读取路径处理 (文件夹的名称)
        dir_ = os.path.join(path, dir)  #将文件夹与对应前缀路径逐一连接
        for file in os.listdir(dir_):   # 读取路径处理 (图片的名称)
            imgpath = os.path.join(dir_, file) #将图片与对应前缀路径逐一连接

然后，我们将得到的图像文件进行一维提取，用到a.flatten()函数：

imgflatten = ImgPrcessing(imgpath).flatten()   #提取一维数组

a.flatten()函数，其中对象必须为array（数组）或mat（矩阵）。a.flatten() ——默认按行的方向降维、 a.flatten(‘F’) ——按列降维、a.flatten(‘A’) ——按行降维。

最后，再将数据写入datas与labels中：

 datas.append(imgflatten)                        # 数据集      在列表detas的末尾添加新对象，imgflatten为新对象
 labels.append(dir)                              # 标签集      同上

返回值则为datas与labels：

 return datas, labels

4 定义数据处理函数

我们的数据主要分为三种：训练集、测试集、预测集，因为我们想要用一个函数将三个数据集的图像一起输入，因此我们为函数定义三个输入参数：train, test, pre。

def DataProcessing(train,test,pre)

函数内我们首先使用if条件语句将三种不同的输入集图像分开处理：

if train：
...
if test:
...
if pre:
...

train、test、pre中为0的即运行该数据集（在程序开始自己定义）。
下面开始数据集训练，程序如下：

 train_data,train_label = train_val_process(path_train)
 train_data_  =  pd.DataFrame(train_data).to_csv(train_data_save,  index=0, header=0)    # 训练集保存
 train_label_ =  pd.DataFrame(train_label).to_csv(train_label_save, index=0, header=0)

其中的train_val_process（）为前面定义的训练集、测试集处理函数，在输入对应图片的路径后，会返回两个值，分别是train_data,train_label。
得到处理后的数据集后，使用pd.DataFrame()函数创建一个二维表，再使用函数pd.to_csv将这两个数据写入二维表。

至此，数据扁平化已完成。

5 完整代码

import os
import cv2
import pandas as pd
#本程序旨在让图片生成的数组扁平，生成一维数组
########################################
path_train = '../../../../sklearn math/PCB/sample/'                         # 训练集路径  7：3   6：2：2
path_test = '../../../../sklearn math/PCB/test/'                          # 验证集路径
path_pre = '../../../../sklearn math/PCB/test/'                         # 测试集路径
#----------------------------------------#

train = 0
test = 1
pre = 0

#----------------------------------------#
train_data_save     = '../DataCSV2/train_data.csv'           # 存储路径
train_label_save    = '../DataCSV2/train_label.csv'

test_data_save      = '../DataCSV2/test_data.csv'
test_label_save     = '../DataCSV2/test_label.csv'

pre_data_save       = '../DataCSV2/pre_data.csv'
pre_sign_save       = '../DataCSV2/pre_sign.csv'
########################################

# *图片预处理函数
def ImgPrcessing(path):
    img = cv2.imread(path)           # 图片读取
    
    img = cv2.resize(img,(64,64))    #改变大小尺寸

    img = cv2.medianBlur(img, 3)        # 滤波


    return img

# *训练集、测试集---处理函数
def train_val_process(path):
    datas = []
    labels = []
    for dir in os.listdir(path):        # 读取路径处理 (文件夹的名称)
        dir_ = os.path.join(path, dir)  #将文件夹与对应前缀路径逐一连接
        for file in os.listdir(dir_):   # 读取路径处理 (图片的名称)
            imgpath = os.path.join(dir_, file) #将图片与对应前缀路径逐一连接

            imgflatten = ImgPrcessing(imgpath).flatten()   #提取一维数组，其中对象必须为array（数组）或mat（矩阵）。a.flatten() #默认按行的方向降维、 a.flatten('F') #按列降维、a.flatten('A') #按行降维

            datas.append(imgflatten)                        # 数据集      在列表detas的末尾添加新对象，imgflatten为新对象
            labels.append(dir)                              # 标签集      同上

    return datas, labels

# 1-数据集处理
def DataProcessing(train,test,pre):
    if train:               # 1.1 训练集处理
        train_data,train_label = train_val_process(path_train)
        train_data_  =  pd.DataFrame(train_data).to_csv(train_data_save,  index=0, header=0)    # 训练集保存
        train_label_ =  pd.DataFrame(train_label).to_csv(train_label_save, index=0, header=0)

    if test:                # 1.2 测试集处理
        test_data, test_label = train_val_process(path_test)
        val_data_  = pd.DataFrame(test_data)        .to_csv(test_data_save,  index=0, header=0)     # 测试集保存
        val_label_ = pd.DataFrame(test_label)       .to_csv(test_label_save, index=0, header=0)      #pd.DataFrame 创建一个二维表、to_csv保存指定格式数据到二维表中

    if pre:                 # 1.3 预测集处理
        pre_datas =  []                                             # 预测集数据存储列表
        pre_labels = []                                             # 预测集标签存储列表
        imglabels = []
        count = 0

        for file in os.listdir(path_pre):                           # 预测集路径
            imglabels.append(path_pre + str(count) + '.png')
            count += 1

        for path in imglabels:
            imgflatten = ImgPrcessing(path).flatten()
            pre_datas.append(imgflatten)                            # 预测集数据
            pre_labels.append(os.path.basename(path))               # 预测集标签    os.path.basename=>返回path最后的文件名

        pre_data_  = pd.DataFrame(pre_datas)       .to_csv(pre_data_save,   index=0,header=0)       # 预测集保存
        pre_label_ = pd.DataFrame(pre_labels)      .to_csv(pre_sign_save,   index=0,header=0)

# 2-保存CSV文件
DataProcessing(train = train,test = test,pre = pre)

博主也在学习中，可能有很多地方不懂，期待各位对本文内容的批评指正。