| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> 为什么梯度下降法对 GAN 的训练效果并不好? -> 正文阅读 |
|
[人工智能]为什么梯度下降法对 GAN 的训练效果并不好? |
1. 梯度下降法适用于 GAN 训练吗?我们构建并训练神经网络,使用的 梯度下降法(gradient descent) ,通过找到损失函数的下降通道来找到可学习参数的组合,使得误差最小化,达到训练网络的目的。
但是 GAN 的动态性不同于简单的神经网络,生成器和鉴别器网络的目标是相反的。
2. 简单的对抗游戏考虑一个非常简单的目标函数: f = x ? y f=x \cdot y f=x?y
我们将这个函数可视化,下面的图片从三个不同的角度展示了 f = x ? y f = x \cdot y f=x?y 的表面图:
下面的图片使用颜色和箭头来表示 f f f 的值和导数的大小及变化方向:
如果使用直觉来说的话,我们可能会说最好的答案是在马鞍的中心点 ( x , y ) = ( 0 , 0 ) (x, y) = (0, 0) (x,y)=(0,0)。
可以认为,这个值将使得两个选手同等快乐——或者同等不快乐。 ”直觉“ 可能只能让我们避免 “不输”(而且,似乎并没有什么依据),下面我们基于 梯度下降 来模拟两个选手,找到对两个选手都很满意的解决方案。 我们可以依赖于目标函数 f f f 的梯度,对参数 x x x 和 y y y 进行小幅度的调整: x → x + l r ? δ f / δ x y → y ? l r ? δ f / δ y x \rightarrow x + lr *\delta f / \delta x \\ y \rightarrow y - lr *\delta f / \delta y x→x+lr?δf/δxy→y?lr?δf/δy
对 f = x ? y f = x \cdot y f=x?y 的导数进行计算,可以将上式进行改写: x → x + l r ? y y → y ? l r ? x x \rightarrow x + lr * y \\ y \rightarrow y - lr * x x→x+lr?yy→y?lr?x 我们可以撰写一些代码,首先随机指定 x x x 和 y y y 的初始值,然后重复地应用更新法则来获得连续的 x x x 和 y y y 的值。 下图显示了随着训练进程, x x x 和 y y y 是如何变化的:
这很不好。
下图将 x x x 和 y y y 放在一起展示,可以看到这两个值是环绕着理想点 (0,0) 的,但是距离越来越远。 3. 梯度下降法并不是对抗游戏的理想选择本文,我们使用一个简单的目标函数显示梯度下降并不能发现对抗游戏的解决方案。 事实上,它不仅仅是找不到解决方案,而是灾难性地出现分歧。 这是不是意味着 GAN 训练一般都会失败? 实际上,使用有意义的数据的实际 GAN 的函数一般非常复杂,这可以减少失控 分歧的概率,这也是我们系列文章中 GAN 的训练都相当好的原因。 但是本文的分析确实解释训练 GAN 困难和混沌的原因。 环绕一个好的解决方案运行也可以解释为什么许多简单的 GAN 似乎通过扩展训练而不是提高图像质量,来解决不同的模式坍塌问题。
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 | -2024/12/29 7:45:56- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |
数据统计 |