IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 数据结构与算法 -> LS-TWSVM -> 正文阅读

[数据结构与算法]LS-TWSVM

目录

1. 最优化问题

2. 求解

3. 算法流程


????????在 TWSVM 中,利用拉格朗日乘子构建一个对偶问题并进行求解,但时间开销仍然比较大,对此有人提出了用最小二乘法来求解原始问题,求解之前需要对原始问题做一定的变换,将不等式约束变成等式约束。

1. 最优化问题

LS-TWSVM 的最优化问题定义如下,以其中一个超平面为例子:

\left\{\begin{matrix} \min & \frac{1}{2}(Aw_1+e_1b_1)^T(Aw_1+e_1b_1)+\frac{1}{2}q^Tq\\ s.t.& -(Bw_1+e_2b_1)+q=e_2 \end{matrix}\right.

该公式的最小化项的首项是正样本点到超平面的距离平方和,等式约束的目的是所有的负样本点到该超平面的距离在 1 附近,最小化公式的第二项就是这个误差的平方和。

2. 求解

????????首先将约束公式代入到最小化公式中得到:

\min_{w_1,b_1}\; \frac{1}{2}\left \| Aw_1+e_1b_1 \right \|_2^2+\frac{c_1}{2}\left \| Bw_1+e_2b_1+e_2 \right \|_2^2

求其对?w_1,b_1?的偏导并令偏导等于 0 可以得到如下两个式子,求解过程类似 TWSVM:

A^T(Aw_1+e_1b_1)+C_1B^T(Bw_1+e_2b_1+e_2)=0

e_1^T(Aw_1+e_1b_1)+C_1e_2^T(Bw_1+e_2b_1+e_2)=0


结合这两个式子可以得到:

\begin{bmatrix} A^T\\ e_1^T \end{bmatrix} \begin{bmatrix} A &e_1 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} +c_1 \begin{bmatrix} B^T\\ e_2^T \end{bmatrix} \begin{bmatrix} B &e_2 \end{bmatrix} \begin{bmatrix} w_1\\ b_1+1 \end{bmatrix} =0

转化一下:

\begin{bmatrix} A^TA & A^Te_1\\ e_1^TA & m_1 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} +c_1 \begin{bmatrix} B^TB & B^Te_2\\ e_2^TB & m_2 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} +c_1 \begin{bmatrix} B^TB & B^Te_2\\ e_2^TB & m_2 \end{bmatrix} \begin{bmatrix} 0\\ 1 \end{bmatrix}=0

即:

\begin{bmatrix} A^TA & A^Te_1\\ e_1^TA & m_1 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} +c_1 \begin{bmatrix} B^TB & B^Te_2\\ e_2^TB & m_2 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} +c_1 \begin{bmatrix} B^Te_2\\ m_2 \end{bmatrix}=0

其中?m_1?来自于?m_1 = e_1^Te_1=\sum_{i=1}^{m_1}1*1m_2?同理。


提取?\begin{bmatrix} w_1\\ b_1 \end{bmatrix}?得到:

\begin{bmatrix} w_1\\ b_1 \end{bmatrix} =\begin{bmatrix} B^TB+\frac{1}{c_1}A^TA & B^Te_2+\frac{1}{c_1}A^Te_1\\ e^TB+ \frac{1}{c_1}e^TA& m_2+\frac{1}{c_1}m_1 \end{bmatrix}^{-1} \begin{bmatrix} -B^Te_2\\ -m_2 \end{bmatrix}

等同于:

\begin{bmatrix} w_1\\ b_1 \end{bmatrix} =\begin{bmatrix} \begin{bmatrix} B^T\\ e^T_2 \end{bmatrix} \begin{bmatrix} B & e_2 \end{bmatrix} +\frac{1}{c_1} \begin{bmatrix} A^T\\ e^T_1 \end{bmatrix} \begin{bmatrix} A & e_1 \end{bmatrix} \end{bmatrix}^{-1} \begin{bmatrix} -B^Te_2\\ m_2 \end{bmatrix}

令?E=\begin{bmatrix} A & e_1 \end{bmatrix} ,\; F=\begin{bmatrix} B & e_2 \end{bmatrix}则有

\begin{bmatrix} w_1\\ b_1 \end{bmatrix} =-(F^TF+\frac{1}{c_1}E^TE)^{-1}F^{T}e_2

同理,求出另一个超平面的公式为:

\begin{bmatrix} w_2\\ b_2 \end{bmatrix} =-(E^TE+\frac{1}{c_2}F^TF)^{-1}E^{T}e_1

????????在对一个新的数据进行分类时,只需要计算它到两个超平面的距离,它的类别就是距离更近的超平面对应的类别。

3. 算法流程

1. 按上面公式计算矩阵 E 和矩阵 F
2. 选择超参数 c1 和 c2
3. 按上面公式计算平面的超参数
4. 分类时,计算样本点到两个超平面的距离

  数据结构与算法 最新文章
【力扣106】 从中序与后续遍历序列构造二叉
leetcode 322 零钱兑换
哈希的应用:海量数据处理
动态规划|最短Hamilton路径
华为机试_HJ41 称砝码【中等】【menset】【
【C与数据结构】——寒假提高每日练习Day1
基础算法——堆排序
2023王道数据结构线性表--单链表课后习题部
LeetCode 之 反转链表的一部分
【题解】lintcode必刷50题<有效的括号序列
上一篇文章      下一篇文章      查看所有文章
加:2022-04-30 08:55:25  更:2022-04-30 08:57:58 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 5:52:55-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码