Gen-AI-2

GAN(Generative Adversarial Nets)

生成网络： 期望产生尽量真实的图片，从而骗过判别器
判别网络： 期望能准确地区分真假图片

Objective Function

采用minimax方式训练：

D(x)表示x为真实图片的概率。 x为真实数据，z为从一个简单分布从采样得到的样本，想要学习映射。

梯度下降

判别器

判别器()希望最大化目标函数，使得D(x)接近1，D(G(z))接近0。
Gradient ascent on discriminator：

生成器

生成器()希望最小化目标函数，使得D(G(z))接近1。
Gradient descent on generator：

但是这个形式有一个问题

在生成样本很糟糕时，小，损失函数梯度小，生成器学习慢；相反，生成样本很好时，生成器学习较快。
所以改为Gradient descent on generator：

数学推导

判别器

因为可以是任意函数，所以只需每一项取到最大值。
易知时有最大值。