GAN网络

基本概念

GAN（Generative Adversarial Network）生成对抗网络，由生成器G(Generator)和判别器(Discriminator)组成。生成器努力生成数据以通过判别器，判别器努力判别出生成数据的真假，最后它俩收敛。

这个模型很有想象力，像是结对进化，像是二人关系，像是阴阳，达到收敛就是达到了平衡

GAN由一对生成器与判别器组成，生成器G捕捉样本数据的分布，追求效果越像真实样本越好；判别器D是一个分类器，估计样本来来自于训练数据的概率，来自训练数据则输出大概率，反之小概率。

论文：Generative Adversarial Nets

初始化判别器D的参数 θd 和生成器G的参数 θg 。
从真实样本中采样 m 个样本 { x1, x2, ..., xm } ，从先验分布噪声中采样 m 个噪声样本 { z1, z2, ..., zm } 并通过生成器获取 m 个生成样本 { x~1, x~2, ..., x~m } 。固定生成器G，训练判别器D尽可能好地准确判别真实样本和生成样本，尽可能大地区分正确样本和生成的样本。
循环k次更新判别器之后，使用较小的学习率来更新一次生成器的参数，训练生成器使其尽可能能够减小生成样本与真实样本之间的差距，也相当于尽量使得判别器判别错误。
多次更新迭代之后，最终理想情况是使得判别器判别不出样本来自于生成器的输出还是真实的输出。亦即最终样本判别概率均为0.5。

之所以要训练k次判别器，再训练生成器，是因为要先拥有一个好的判别器，使得能够教好地区分出真实样本和生成样本之后，才好更为准确地对生成器进行更新。更直观的理解可以参考下图:

图中

黑色虚线表示真实的样本的分布情况，

蓝色虚线表示判别器判别概率的分布情况，

绿色实线表示生成样本的分布。

Z 表示噪声， Z 到 x 表示通过生成器之后的分布的映射情况。目标是使用生成样本分布（绿色实线）去拟合真实的样本分布（黑色虚线），来达到生成以假乱真样本的目的。

目标函数如下所示：

这个目标函数要从交叉熵开始：

pi和qi为真实的样本分布和生成器的生成分布
判别器是一个二分类问题（是不是来自训练样本），交叉熵可以写成：

y1为正确样本分布，(1-y1)就是生成样本分布。D代表判别器，D(x1)代表判别样本为正确的概率，(1-D(x1))代表判别为错误样本的概率。
推广到N个样本
写成期望形式

这一步的1/2没看懂，原文：

我觉得反过来想吧，交叉熵的p*logq形式就是为了让q的分布去接近p的分布。

我们最终想要达到的目的是是判别器无法正确判别，也就是判别概率为1/2。所以其实这一整个过程就相当于让D(x)和D(G(z))判别的概率去接近1/2，也就是上面yi取1/2那个式子。这里的1/2应该看成是判别的概率吧。所以其实是想说明下面的minmaxV(G, D)就相当于上述的拟合到1/2这个过程。

而上面说的标签为0，1应该算是V(G, D)。原始论文中也有说明最后这个博弈过程有一个最优点，也就是收敛于Pg = Pdata也就是等于1/2了。我想应该是这样