? ? ? 在深度学习中，损失函数用来评估模型的预测值与真实值之间的差异程度，是模型对数据拟合程度的反映，拟合的越差，损失函数的值越大；反之，损失函数越小，说明模型的预测值就越接近真实值，模型的准确性也就越好。深度学习的模型训练的目标就是使损失函数的值尽可能小。因此损失函数又被称为目标函数。深度学习的模型训练的过程就是不断地最小化损失函数。选择适合的损失函数不仅影响最终预测的准确性，而且影响训练的效率。
? ? ? 常用的损失函数包括：最小均方差损失函数、L1范数损失函数、L2范数损失函数、交叉熵损失函数等。
? ? ? 1948年，香农提出了信息熵的概念，并且发展为一门独立的学科，即信息论。香农将平均自信息量定义为信息熵，简称为熵。在信息论中，信息熵是为了消除不确定性所需的度量，为了验证概率低的事件，需要大量的信息，此时的信息熵很大；相反，为了验证概率高的事件，则需要少量的信息，此时的信息熵很小。
? ? ? 交叉熵用于度量分布之间的信息差异。交叉熵是信息论中的重要概念，熵是对不确定问题的度量准则，而交叉熵是信息论领域的一种度量，建立在熵的基础上，通常是用来度量两个概率分布之间信息的差异。
? ? ? 最小化交叉熵的过程也就是极大似然估计，深度学习训练的目的，就是最小化交叉熵，使预测的数据分布与真实的数据分布尽量相同。
? ? ? 交叉熵损失函数(Cross-Entropy Loss Function)通常被用来解决深度学习中的分类问题。
? ? ? 对于多分类，每个样本都有一个已知的类标签(class label)，概率为1.0，所有其它标签的概率为0.0。模型(model)可以估计样本属于每个类别标签的概率。然后可以使用交叉熵来计算两个概率分布之间的差异。
? ? ? 如果一个分类问题具有三个类别，并且一个样本具有第一类的标签，则概率分布将为[1,0,0]；如果一个样本具有第二类的标签，则它概率分布为[0,1,0]。
? ? ? PyTorch中的交叉熵损失函数的计算还包含了Softmax。Softmax能将原网络输出转变为概率形式。
? ? ? Softmax交叉熵损失函数是最常用的分类损失函数。若要将样本分为C个类别，在使用Softmax交叉熵损失时，需要将神经网络的最后一层输出设置为C，得到C个分数后输入Softmax交叉熵损失函数。
? ? ? Softmax交叉损失函数实际上分为两步：求Softmax和求交叉熵损失，其中第一步操作可以得到当前样本属于某类别的概率，然后将这些概率与实际值One-Hot向量求交叉熵，因为实际值是仅在第y个位置为1，其它部分为0，所以最终只保留了第y个位置的交叉熵。
? ? ? 在深度学习样本训练的过程中，采用One-Hot形式进行标签编码，再计算交叉熵损失。在使用交叉熵损失函数的网络训练之前，需要将样本的实际值也转化为概率值形式。为达到这个目的，常用的方法为独热编码即One-Hot编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。
? ? ?Softmax的介绍参考：https://blog.csdn.net/fengbingchun/article/details/75220591
? ? ? 交叉熵损失函数公式如下：来自于：https://programmathically.com/an-introduction-to-neural-network-loss-functions/
? ? ?
?? ? ? N：样本数；M：类别数；y：预期结果；y hat：模型产生的结果
? ? ? 交叉熵损失函数的C++实现如下：
template<typename _Tp> // y实际值; t预测值; m类别数
_Tp loss_function_cross_entropy(const _Tp* y, const _Tp* t, int m)
{
_Tp loss = 0.;
for (auto i = 0; i < m; ++i)
loss += -y[i] * std::log(t[i]);
return loss;
}? ? ? 测试代码如下：
int test_loss_function()
{
{ // only one sample
const int classes_number = 5;
std::vector<float> sample = { 0.0418, 0.0801, -1.3888, -1.9604, 1.0712 };
std::vector<float> target = { 0, 0, 1, 0, 0 }; // One-Hot
std::vector<float> input(classes_number);
assert(sample.size() == classes_number && target.size() == classes_number && input.size() == classes_number);
fbc::activation_function_softmax(sample.data(), input.data(), classes_number);
float output = fbc::loss_function_cross_entropy(target.data(), input.data(), classes_number);
fprintf(stdout, "output: %.4f\n", output);
}
{ // five samples
const int classes_number = 5, samples_number = 5;
std::vector<std::vector<float>> samples = {{0.0418, 0.0801, -1.3888, -1.9604, 1.0712 },
{0.3519, -0.6115, -0.0325, 0.4484, -0.1736},
{0.1530, 0.0670, -0.3894, -1.0830, -0.4757},
{-1.3519, 0.2115, 1.2325, -1.4484, 0.9736},
{1.1230, -0.5670, 1.0894, 1.9890, 0.03567}};
std::vector<std::vector<float>> targets = {{0, 0, 0, 0, 1},
{0, 0, 0, 1, 0},
{0, 0, 1, 0, 0},
{0, 1, 0, 0, 0},
{1, 0, 0, 0, 0}};
std::vector<std::vector<float>> inputs(samples_number);
assert(samples[0].size() == classes_number && targets[0].size() == classes_number && inputs.size() == samples_number);
float output = 0.;
for (int i = 0; i < samples_number; ++i) {
inputs[i].resize(classes_number);
fbc::activation_function_softmax(samples[i].data(), inputs[i].data(), classes_number);
output += fbc::loss_function_cross_entropy(targets[i].data(), inputs[i].data(), classes_number);
}
output /= samples_number;
fprintf(stdout, "output: %.4f\n", output);
}
return 0;
}? ? ? 执行结果如下：
?? ? ? 调用PyTorch接口测试代码如下：
import torch
import torch.nn as nn
loss = nn.CrossEntropyLoss()
input = torch.tensor([[0.0418, 0.0801, -1.3888, -1.9604, 1.0712]])
target = torch.tensor([2]).long() # target为2,one-hot表示为[0,0,1,0,0]
output = loss(input, target)
print("output:", output)
data1 = [[ 0.0418, 0.0801, -1.3888, -1.9604, 1.0712],
[ 0.3519, -0.6115, -0.0325, 0.4484, -0.1736],
[ 0.1530, 0.0670, -0.3894, -1.0830, -0.4757],
[ -1.3519, 0.2115, 1.2325, -1.4484, 0.9736],
[ 1.1230, -0.5670, 1.0894, 1.9890, 0.03567]]
data2 = [4, 3, 2, 1, 0]
input = torch.tensor(data1)
target = torch.tensor(data2)
output = loss(input, target)
print("output:", output)??? ? ? 执行结果如下：可见C++实现的代码与调用PyTorch接口两边产生的结果完全一致
??? ? ? ?GitHub：
??? ? ? ??? ? ? https://github.com/fengbingchun/NN_Test
??? ? ? ??? ? ? https://github.com/fengbingchun/PyTorch_Test