1.基本概念

过拟合与欠拟合

过拟合（学成书呆子了）：指模型在训练集上表现优秀，在测试集上表现很差
欠拟合（还没学明白）：指模型难以学习已有的规律，在训练集和测试集上表现得都很差；或是模型过早的停止训练

根据学习曲线判断过拟合、欠拟合

在实际的使用过程中，过拟合、欠拟合是一个较为主观的评价，没有一个指标能拍板说它就是过拟合了、或就是欠拟合了。而且，过拟合与欠拟合实际上并不是相对的概念，即并未非此即彼，往往：

模型效果太差：欠拟合
模型在训练集上还可以，但测试集上太差：过拟合
模型训练集和测试集都还行：不存在过拟合与欠拟合

下面是一个例子：
在这里插入图片描述
上图是一个比较经典的示意图：

左上角：我们看到随着训练数据的增加（随着x不断增加），准确率趋于稳定，意味着：再添加更多数据，已经无法使模型更好了，说明模型已经到极限了，这就是正常的。但是此时模型的准确率也太低了，如果我们的预期是红色的线，说明模型已经尽力了，也无法达到我们的预测，此时它就是欠拟合的。
右上角：我们看到训练的曲线与验证的曲线相差加大（两条线离的有点远），即：在训练集上效果还行（绿色虚线比较高），但验证集上效果不行（蓝色实线），此时为过拟合
右下角：完美，既不存在过拟合也不存在欠拟合

2.示例代码：绘制学习曲线

import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.model_selection import learning_curve
import seaborn as sns
from sklearn.datasets import make_classification


def main():
    data_x, data_y = make_classification(n_samples=1000, n_classes=4, n_features=10, n_informative=8)  # 生成分类任务
    # 绘制学习曲线
    model = SVC(kernel="linear")
    train_sizes, train_scores, valid_scores = learning_curve(
        model, data_x, data_y, train_sizes=np.linspace(0.1, 1.0, 10), cv=5, random_state=0)
    train_scores_mean = np.mean(train_scores, axis=1)  # 纵向求平均
    valid_scores_mean = np.mean(valid_scores, axis=1)
    # 开始绘图
    sns.set()
    sns.lineplot(x=train_sizes, y=train_scores_mean, label="train")
    sns.lineplot(x=train_sizes, y=valid_scores_mean, label="valid")
    plt.xlabel("data")
    plt.ylabel("acc")
    plt.title("SVM linear")
    plt.show()


if __name__ == '__main__':
    main()