BIB
@article{yang:2021:multi,
author = {Yang, Mei and Zhang, Yu-Xuan and Wang, Xizhao and Min, Fan},
title = {Multi-Instance Ensemble Learning With Discriminative Bags},
journal = {{IEEE} Transactions on Systems, Man, and Cybernetics: Systems},
year = {2021},
publisher = {IEEE}
}
总体框架
- TBBM(traditional bagbased mapping)
传统的基于包的映射算法
仅考虑空间分布来生成kBagSet（关键包集） - ELDB（ensemble learning with discriminative bags）
基于判别包的映射算法
进一步考虑数据的标签信息来生成一个dBagSet（鉴别包集）
并引入一种自增强机制来学习和更新现有的dBagSet
使用集成技术生成一系列加权模型。
关键技术：
- 判别包选择技术
- 分类器集成技术
1、包选择技术
包选择技术由两部分组成，用于生成dBagSet：判别分析：通过考虑basic数据集的空间和标签分布，生成判别矩阵和dBagSet。自增强机制用于确定dBagSet是否可以更新。
1.1 判别分析
组合优化目标：使得新特征空间中属于
T
d
\mathcal{T}_d
Td?的所有包的可分辨性总和最大
max
?
T
e
?
T
d
?
T
J
(
T
d
,
T
e
)
=
1
2
∑
B
ξ
i
,
B
ξ
j
∈
T
d
d
i
j
δ
i
j
\max _{\mathcal{T}_{e} \subseteq \mathcal{T}_{d} \subset \mathcal{T}} \mathcal{J}\left(\mathcal{T}_{d}, \mathcal{T}_{e}\right)=\frac{1}{2} \sum_{\boldsymbol{B}_{\xi_{i}}, \boldsymbol{B}_{\xi_{j}} \in \mathcal{T}_{d}} d_{i j} \delta_{i j}
Te??Td??Tmax?J(Td?,Te?)=21?Bξi??,Bξj??∈Td?∑?dij?δij?
其中
- bag-link矩阵： Δ = [ δ i j ] N d × N d \Delta=\left[\delta_{i j}\right]_{N_{d} \times N_{d}} Δ=[δij?]Nd?×Nd??
-
δ
i
j
=
{
1
,
y
ξ
i
≠
y
ξ
j
?
1
,
y
ξ
i
=
y
ξ
j
\delta_{i j}=\left\{\begin{array}{cc} 1, & y_{\xi_{i}} \neq y_{\xi_{j}} \\ -1, & y_{\xi_{i}}=y_{\xi_{j}} \end{array}\right.
δij?={1,?1,?yξi???=yξj??yξi??=yξj???,
λ
i
j
>
0
\lambda_{ij}>0
λij?>0是一个比例参数
也就是说，为了让 T d \mathcal{T}_d Td?中包的可分辨性最大，就要让 T d \mathcal{T}_d Td?中任意两个不同标签的包之间的距离最大，任意两个相同标签的包之间的距离最小
但是我们现在的问题是，如何找出 T e \mathcal{T}_e Te?,逐个遍历时间复杂度太高
改进方法为，将优化目标改为：
max
?
T
?
T
d
?
T
∑
B
ξ
k
∈
T
e
p
ξ
k
\max\limits_{\mathcal{T}\subseteq{\mathcal{T}_{d} \subset \mathcal{T}}} \sum\limits_{\boldsymbol{B}_{\xi_{k}} \in \mathcal{T}_{e}} p_{\xi_{k}}
T?Td??Tmax?Bξk??∈Te?∑?pξk??
只需要计算 T d \mathcal{T}_d Td?中每个包的分数，然后找出分数最大的前 ψ \psi ψ个包组成 T e \mathcal{T}_e Te?即可
1.2自增强机制
符号表示：
将
T
e
i
\mathcal{T}_e^i
Tei?作为dBagSet的第
i
i
i次更新，其中
T
e
0
\mathcal{T}_e^0
Te0?由
T
d
\mathcal{T}_d
Td?通过判别分析获得
a
i
a_i
ai?表示
T
e
i
\mathcal{T}_e^i
Tei?是否将要被更新
自增强机制有两种模式：
a:采用贪婪策略，以尽可能多地寻找具有高分辨率的行李。
r:采用竞争策略，以排除一些包
自增强步骤：
1：将更新状态设置为0
2：找出包
B
ζ
k
∈
T
e
i
B_{\zeta k} \in \mathcal{T}_{e}^{i}
Bζk?∈Tei?中打分
p
ζ
k
p_{\zeta_{k}}
pζk??最低的包的索引
τ
=
arg
?
min
?
B
ζ
k
∈
T
e
i
p
ζ
k
\tau=\arg \min _{\boldsymbol{B}_{\zeta k} \in \mathcal{T}_{e}^{i}} p_{\zeta_{k}}
τ=argminBζk?∈Tei??pζk??
3：对于
T
′
\mathcal{T}^{'}
T′中的每一个包，如果打分比
p
ζ
τ
p_{\zeta_{\tau}}
pζτ??大就进行更新，更新结束后就将
a
i
a_i
ai?置为1
当模式为a时：直接放进去，
当模式为r时：用分高的的替换分低的
2、集成技术
因为只采用
T
e
β
\mathcal{T}_e^\beta
Teβ?会丢失
T
e
0
\mathcal{T}_e^0
Te0?的信息，而且基于集成模型可以降低仅仅基于单一模型的不确定性，因此采用集成技术。
M
=
f
c
model?
(
V
,
Y
)
w
=
f
c
weight?
(
V
,
Y
,
M
)
y
^
i
=
f
c
predict?
(
b
i
,
M
)
\begin{aligned} M &=f_{c}^{\text {model }}(\boldsymbol{V}, \boldsymbol{Y}) \\ w &=f_{c}^{\text {weight }}(\boldsymbol{V}, \boldsymbol{Y}, M) \\ \hat{y}_{i} &=f_{c}^{\text {predict }}\left(\boldsymbol{b}_{i}, M\right) \end{aligned}
Mwy^?i??=fcmodel??(V,Y)=fcweight??(V,Y,M)=fcpredict??(bi?,M)?
M
M
M是训练好了的单实例分类器
w
w
w是性能度量值
y
^
i
\hat{y}_{i}
y^?i?是
B
i
\bm{B}_i
Bi?的预测标签
最后通过加权集成模型，
B
i
\bm{B}_i
Bi?的预测标签为：
y
^
i
=
sign
?
(
∑
j
w
j
Y
i
j
)
\hat{y}_{i}=\operatorname{sign}\left(\sum_{j} w_{j} Y_{i j}\right)
y^?i?=sign(j∑?wj?Yij?)
其中
Y
i
j
=
f
c
predict?
(
f
b
(
B
i
,
T
e
i
)
,
M
i
)
Y_{i j}=f_{c}^{\text {predict }}\left(f_{b}\left(\boldsymbol{B}_{i}, \mathcal{T}_{e}^{i}\right), M_{i}\right)
Yij?=fcpredict??(fb?(Bi?,Tei?),Mi?)
