全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语
2020版课后作业范例和作业说明在github上：点击此处
李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网络（RNN）、强化学习（RL）等深度学习的内容。
博客内容多为转载。结合哔哩大学的视频观看效果更佳。
持续更新本文章
transformer的本意是变形金刚，现在有一个很知名的应用为BERT，BERT全称为Bidirectional Encoder Representation from Transformer，是Google以无监督的方式利用大量无标注文本「炼成」的语言模型。
本博客不涉及BERT，主要介绍transformer。
transformer是Seq2seq model with“Self-attention"的模型。
什么是Seq2seq model模型？先介绍一下。
Seq2seq model模型
Seq2seq模型现在已经在机器翻译、文本摘要和图像解释方面取得了很大的成功。谷歌翻译在2016年使用这个模型。Seq2seq模型的输入是序列化数据（比如单词、信件内容、图片特征等），输出也是序列化数据。