深度学习笔记
引言：机器学习——自动寻找函数。
1. 你想要找什么函数？
① Regression——The output of the function is a scalar.
② Binary Classification——Only output Yes or No.
举例：输入句子，输出句子positive还是negtive。
③ Multi-class Classification——分类，输入图片，输出图片中物品的类型。
2、怎么告诉机器你想要找什么样的函式？
① Supervised Learning——监督学习
- 监督学习需要使用Labeled Data序列资料，Labeled Data序列资料是已经进行类型标注过的样本。
- 函数的Loss：函数的错误率，此值越小越好。下图函数识别图像的错误率为50%。
② Reinforcement Learning——强化学习
- Supervised Learning vs Reinforcement Learning
a）Supervised Learning：监督学习需要告知机器理想的Output是什么样的，然后机器进行学习。
b）Reinforcement Learning：无需告知机器理想的Output。比如下棋，只需input现有棋局，让机器和自己或者别人下棋，不论输赢机器都会从中学到经验，会想办法提高自己的正确率。 - Reward：引导机器学习的方向，例如下棋的Win和Lost。
- Alpha Go & Alpha Zero
Alpha Go is a Supervised Learning + Reinforcement Learning.
Alpha Zero is Reinforcement.
③ Unsupervised Learning
给机器的Data资料是未经过标注的。
3、机器怎样找出你想要的函式？
- 首先得给定函式的寻找范围，比如给定的函式范围是Linear（Regression\Classification），或符合Network Architecture架构的（RNN\CNN）.
- 机器学习的前沿研究举例：
① Explainable AI：输入一张有猫的图片，输出“猫”，Explainable AI能给出为什么它觉得图片里有猫的原因。（一般用于线性和决策型函数）
② Adversarial Attack（对抗攻击）：加一些我们排查不到的信息，但机器能接收到，机器会全面崩坏，以至于机器的output变得不可控。
③ Network Compression（网络压缩）：有些model正确率高但太庞大，需要压缩才能放入手机或芯片使用。
④ Anomaly Detection（异常检测）：若机器只学习了猫狗图片，输入卡通人物也会识别成猫或狗，因此使用Anomaly Detection可以发现这个异常并将其分出。
⑤ Transfer Learning（迁移学习，域对抗学习(Domain Adversarial Learning)）：如下例，训练的时候给的Training是黑底白数，Testing Data是黑底白色的手写数字，函数识别的正确率可以高达到99.5%。但是在实际生活中顾客提供的数据千变万化，像右下角的彩图，就与训练用的Training Data不同，识别也大幅下降，准确率只有57.5%，因此我们需要通过Transfer Learning将彩图转换成与Training Data相似的框架，将彩色转换成黑白色，这样有利于提高机器的识别率。
⑥ Meta Learning：又叫做Learning to learn，学会学习，已经成为继Reinforcement Learning增强学习之后又一个重要研究分支，目前对于AI的理论研究，呈现出：Artificial Intelligence --> Machine Learning（写一个program让机器进行学习） --> Deep Learning --> Deep Reincement Learning --> Deep Meta Learning（写一个program让机器学会自己写program让自己进行学习）。
⑦ Life-long Learning（终生学习）：教机器学习解决任务一的办法，再教机器学解决任务二的办法后，机器可以解决任务一和二，Life-long Learning又称Continue Learning，Never Ending Learning，Incremental Learning。