1.交叉熵

若存在两个分布 $P_{D_1}\left( x \right) \,\,, P_{D_2}\left( x \right)$ 交叉熵可以由以下公式表示：

$\sum_i^{}{P_D\left( x=i \right) \cdot \ln \left( P_T\left( x=i \right) \right)}$

交叉熵可以用来衡量两个分布时间的相似性它的值越大，两个分布越相似，这个思想可用到我们的回归思想中，即预测值与实际值的分布越相似，效果越好

又由于要与前面模型的损失函数类似（在画损失函数图的时候loss函数呈现一个下降的方式（越小越好）），我们再在交叉熵的前面加上负号，所以后最终损失函数如下：

$-\sum_{i=1}^N{\left( y\log \hat{y}+\left( 1-y \right) \log \left( 1-\hat{y} \right) \right)}$

2.线性回归和Logistic回归的区别

若设回归方程为 $y = w x + b$ 则有
Logistic损失函数称为BCE(Binary Cross Entropy)

对比	线性回归	Logistic回归
损失函数（loss func）	$(\hat{y}-y)^2=(xw-y)^2$	$-(ylog\hat{y}+(1-y)log(1-\hat{y})$
函数输出	几何数值（直接通过大小衡量）	通过二进制交叉熵直接比较两个分布的差异性
正向指标	越小越好	越小越好（ $y与\hat{y}$ 的分布越接近越好）

3.实现过程

3.1源代码

# -*- coding:utf-8 -8-
"""
Author: FeverTwice
Date: 2021--08--03
"""

# import torch.nn.functional as F
import torch
import numpy as np
import matplotlib.pyplot as plt

#数据集导入
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])

#==========================================================#

# 定义函数模块
class LogsticRegressionModel(torch.nn.Module):
    # 构造函数部分
    def __init__(self):
        super(LogsticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    # 在function包上面调用sig函数
    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred

model = LogsticRegressionModel()

#==========================================================#

#构造logstic回归递归函数，并设置不用求和
criterion = torch.nn.BCELoss(size_average=False)

#选择优化方法
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 存储迭代数值
lost_vector = []
epoch_vect = np.arange(1, 1001)

#=================下面部分与上一章节的源代码的迭代部分相同========================

# 迭代训练循环
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
    lost_vector.append(loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data.item())

# 画图
plt.plot(epoch_vect,lost_vector)
plt.show()