[人工智能]【贝叶斯决策理论】--- 基于两类问题的分析

【贝叶斯决策理论】— 基于两类问题的决策分析

在jupyter lab上实现：

导包：

import numpy as np
from numpy.linalg import cholesky
import matplotlib.pyplot as plt

设置随机样本数：

sampleNo = 40;

第一类：

# w1
mu = np.array([[2, 2]])
Sigma = np.array([[2, 0], [0, 2]])
R = cholesky(Sigma)
s = np.dot(np.random.randn(sampleNo, 2), R) + mu
plt.plot(s[:,0],s[:,1],'r+')
plt.title('$w_1$')
plt.show()

图示：

第二类：

# w2
mu = np.array([[4, 4]])
Sigma = np.array([[1, 0], [0, 1]])
R = cholesky(Sigma)
s = np.dot(np.random.randn(sampleNo, 2), R) + mu
plt.plot(s[:,0],s[:,1],'r+')
plt.title('$w_2$')
plt.show()

图示：

两类判别函数的一般式：
$$g_i(x)=?\frac{1}{2{\sigma }_i^2}(x_1^2+x_2^2)+\frac{1}{{\sigma }_i^2}({\mu }_{i1}{x}_1+{\mu }_{i2}{x}_2)?\frac{1}{2{\sigma }_i^2}({\mu }_{i1}^2+{\mu }_{i2}^2)+\ln P(w_i)?\frac{d}{2}\ln 2\pi ?\frac{1}{2}\ln |{\Sigma }_i|$$
说明：
$$\begin{gathered} {\sigma }_1^2=2,{\sigma }_2^2=1 \\ {\mu }_1=[2,2{]}^T,{\mu }_2=[4,4{]}^T \\ P(w_1)=P(w_2)=\frac{1}{2} \\ d=2 \\ |{\Sigma }_1|=4,|{\Sigma }_2|=1 \end{gathered}$$
$g_1(x)$：
$$g_1(x)=?\frac{1}{4}(x_1^2+x_2^2)+x_1+x_2?2?2\ln 2?\ln 2\pi$$
$g_2(x)$：
$$g_1(x)=?\frac{1}{2}(x_1^2+x_2^2)+4x_1+4x_2?8?\ln 2?\ln 2\pi$$
$g_1(x)?g_2(x)$：
$$g_1(x)?g_2(x)=\frac{1}{4}(x_1^2+x_2^2)?3x_1?3x_2+6?\ln 2$$
判别界面的方程：
$$\frac{1}{4}(x_1^2+x_2^2)?3x_1?3x_2+6?\ln 2=0$$
判别界面图像绘制代码：

from sympy.parsing.sympy_parser import parse_expr
from sympy import plot_implicit
ezplot = lambda exper: plot_implicit(parse_expr(exper)) # 用了匿名函数
expression='0.25*(x**2+y**2)-3*x-3*y+6-log(2)' 
ezplot(expression); # 能描绘大致的图像

图示：

曲线下方为$w_1$，曲线上方为$w_2$

第一类：

sampleNo = 50; % 随机样本数
mu = np.array([[0, 0, 0]])
Sigma = np.array([[0.3, 0, 0], [0, 0.3, 0],[0, 0, 0.3]])
R = cholesky(Sigma)
s = np.dot(np.random.randn(sampleNo, 3), R) + mu
x, y, z = s[:,0],s[:,1],s[:,2]
ax = plt.subplot(111, projection='3d')  # 创建一个三维的绘图工程
ax.scatter(x, y, z, c='r')
plt.title('$w_1$')
ax.set_zlabel('Z')
ax.set_ylabel('Y')
ax.set_xlabel('X')
plt.show()

图示：

第二类：

sampleNo = 50;
mu = np.array([[0.5, 0.5, 0.5]])
Sigma = np.array([[0.3, 0.1, 0.1], [0.1, 0.3, -0.1],[0.1, -0.1, 0.3]])
R = cholesky(Sigma)
s = np.dot(np.random.randn(sampleNo, 3), R) + mu
x, y, z = s[:,0],s[:,1],s[:,2]
ax = plt.subplot(111, projection='3d')  # 创建一个三维的绘图工程
ax.scatter(x, y, z, c='r')
plt.title('$w_2$')
ax.set_zlabel('Z')
ax.set_ylabel('Y')
ax.set_xlabel('X')
plt.show()

图示：

判别函数一般式：
$$g_i(x)=?\frac{1}{2}{x}^T{\Sigma }_i^{?1}x+\frac{1}{2}{x}^T{\Sigma }_i^{?1}{\mu }_i?\frac{1}{2}{\mu }_i^T{\Sigma }_i^{?1}{\mu }_i+\frac{1}{2}{\mu }_i^T{\Sigma }_i^{?1}x+\ln P(w_i)?(d/2)\ln 2\pi ?(1/2)\ln |{\Sigma }_i|$$
$g_1(x)$：
$$g_1(x)=?\frac{5}{3}(x_1^2+x_2^2+x_3^2)?\ln 2?\frac{3}{2}\ln 2\pi +1.8060$$
$g_2(x)$：
$$g_2(x)=0.3(x_1^2+x_2^2+x_3^2)+0.2(x_1{x}_2+x_1{x}_3?x_2{x}_3)?0.5x_1?0.3x_2?0.3x_3?\ln 2?\frac{3}{2}\ln 2\pi +2.0676$$
$g_1(x)?g_2(x)$：
$$g_1(x)?g_2(x)=?\frac{59}{30}(x_1^2+x_2^2+x_3^2)?0.2(x_1{x}_2+x_1{x}_3?x_2{x}_3)+0.5x_1+0.3x_2+0.3x_3?0.2616$$
决策面方程：
$$?\frac{59}{30}(x_1^2+x_2^2+x_3^2)?0.2(x_1{x}_2+x_1{x}_3?x_2{x}_3)+0.5x_1+0.3x_2+0.3x_3?0.2616=0$$