【毕设】基于CycleGAN的风格迁移【二】CycleGAN源码解读

当我们阅读别人的源码的时候，需要使用debug，可以参考：Pycharm调试篇（详细）_MrRoose1的博客-CSDN博客

我们来看看这个代码构成

• opt = TrainOptions().parse() 继承baseoption并执行parse()方法
  • BaseOptions的init()
  • BaseOptions的parse()
    • 在parse()里执行BaseOptions()的gather_options()方法, 这玩意大概意思是把base,train,model,data的参数(add_argument)都整合到一块
      • TrainOption的initialize()方法
        • BaseOption的initialize()方法,添加base的parser.add_argument
        • 添加train的parser.add_argument
      • models.get_option_setter() 用来追加和model有关的parser.add_argument
        • find_model_using_name() 寻找这个模型有没有定义
          • 本来这个函数也挺正常的,但是调试的时候importlib.import_module(model_filename),心里直接羊驼飞过!

说下modellib = importlib.import_module(model_filename)

这个憨憨直接遍历model_filename模型文件里面所有用到的类!!!

然后把所有遍历到的模型名称输出到一个特殊变量 modellib 里

这也导致这个憨憨在使用的时候函数堆栈指针对塞进去一坨奇怪的东西,而且这玩意是在遍历项目的目录,导致step into my code在疯狂的跳新宝岛!!!

• opt = TrainOptions().parse()
  • BaseOptions.parse()
    • BaseOptions.gather_options()
      • get_option_setter()
        • find_model_using_name()
          • 说完modellib = importlib.import_module(model_filename)咱们继续
          • 寻找modellib里的模型名和target_model_name相等,并且是BaseModel子类的模型
          • 把这个模型给个叫model的变量并返回
        • 返回刚才找到模型的.modify_commandline_options方法 命名为 model_option_setter
      • 执行刚才好不容易返回的model_option_setter ,添加model的parser.add_argument
      • get_option_setter() 和模型的套路基本一致,只不过这次实在数据集的类里找
        • find_dataset_using_name()
          • 找到数据集的类
      • dataset_option_setter,添加dataset的parser.add_argument
    • 返回一块包含所有参数的命名空间给opt
  • 打印并再设置一些GPU的参数返回

• dataset = create_dataset(opt) 创建数据集
  • CustomDatasetDataLoader() 喜闻乐见的dataloader
    • find_dataset_using_name() ?!老兄你不对劲啊!!!
    • 返回 dataset_class 并实例化这个类 # 好的,dataset已经成为你的对象了,现在你可以对她……
      • make_dataset() 这玩意返回对应目录下所有图片的路径,并组成一个list
      • get_transform() 关于图像的预处理,只不过这里封到函数里了
      • 除了__init__(),下面的__getitem__()也建议看看,那里说的是后面取图象是怎么取的
    • 并设置dataloader
  • 用load_data()方法,把CustomDatasetDataLoader()传出去

• model = create_model(opt) 创建模型 类似数据集
  • find_model_using_name() 我就喜欢你这种让我跳过的
  • 实例化这个类 # 好的instance也变成对象了,现在…….
    • 先BaseModel.init()
    • 设置8个 loss_names
    • 设置8个 visual_names
    • 设置4个 model_names
    • self.netG_A = networks.define_G() 定义netG 的模型
      • get_norm_layer() 设置norm_layer
      • 根据设置,选择 ResnetGenerator()
        • 网络定义和forward基本都在这,对于现在只有一个res的样子可以参考这里
      • 然后执行init_net()
        • 设置GPU并使用init_weights()初始化参数
    • self.netG_B = networks.define_G() 同上
    • self.netD_A = networks.define_D() 定义netD 的模型
      • get_norm_layer() 设置norm_layer
      • 根据设置,选择 NLayerDiscriminator()
        • 网络定义和forward基本都在这,对于现在只有一个res的样子可以参考这里
      • init_net()同上
    • self.netD_B = networks.define_D() 同上
    • ImagePool() 很奇怪的东西 创建图像缓冲区以存储先前生成的图像
      • 这个缓冲区储存由netG生成的图像 并可以用历史来更新鉴别器netD, 而不是由生成器netG直接生成
      • 注意里面还有个query()方法
    • # 3个损失函数
    • criterionGAN = GANLoss() 根据设置选择的,并带一个判断是真值real还是生成值fake,分别计算
    • criterionCycle = L1Loss()
    • criterionIdt = L1Loss()
    • # 2个优化器
    • optimizer_G Adam() 使用chain把 netG_A 和 netG_B 的参数 混在一起 建议结合这里观看调试器里的变量
    • optimizer_D Adam() 同上, 不过是netD_A 和 netD_B
    • 然后分别把这俩优化器都放到optimizer里
  • 打印相关信息直接返回

• model.setup(opt) 加载和打印网络,并设置学习率衰减策略schedule
  • networks.get_scheduler(optimizer,opt)
  • print_networks() 字面意思
• visualizer = Visualizer(opt) 调用visdom和创建页面数据,之前没开server的这里就该出问题了
  • 里面在创建文件夹和log文件

• visualizer.reset() 字面意思 让self.saved = False 下次能更新

• for i, data in enumerate(dataset) 会执行dataset的__iter__()
  • 这个data给出4*batchsize的数组
    • A A图数组
    • B B图数组
    • A_path A图对应路径
    • B_path B图对应路径

• model.set_input(data) 设置哪面往哪面走
  • real_A
  • real_B
  • image_paths 对应网络输入图片的路径

• model.optimize_parameters() 计算损失函数，获取梯度，更新网络权重
  • # 首先是生成器的
  • self.forward() 没啥好说的
    • self.fake_B = self.netG_A(self.real_A) # G_A(A) → B
    • self.rec_A = self.netG_B(self.fake_B) # G_B(G_A(A)) → A
    • self.fake_A = self.netG_B(self.real_B) # G_B(B) → A
    • self.rec_B = self.netG_A(self.fake_A) # G_A(G_B(B)) → B
  • self.set_requires_grad([self.netD_A, self.netD_B], False) 冻结两个netD的梯度
  • self.optimizer_G.zero_grad() netG的梯度清零
  • self.backward_G() 反传计算loss
    • 这里先计算了一下
      self.idt_A = self.netG_A(self.real_B) # G_A(B) → B
      self.idt_A = self.netG_A(self.real_B) # G_B(A) → A
    • loss_idt_A 是鉴别器A的测试损失 ||G_A(B) – B||
    • loss_idt_B 是鉴别器B的测试损失 ||G_B(A) – A||
    • loss_G_A 使用criterionGAN() 把 D_A(G_A(A)) 和opt扔进去, 生成的(1,1,30,30)和全1的(1,1,30,30)求MSEloss
    • loss_G_B 使用criterionGAN() 把 D_B(G_B(B)) 和opt扔进去, 生成的(1,1,30,30)和全1的(1,1,30,30)求MSEloss
    • loss_cycle_A 使用criterionCycle 说白了就是使用L1loss,即 || G_B(G_A(A)) – A||
    • loss_cycle_B 使用criterionCycle 说白了就是使用L1loss,即 || G_A(G_B(B)) – B||
    • loss_G = 上面六个loss求和,然后反向传播
  • self.optimizer_G.step() 更新两个G的权重
  • # 然后是鉴别器的
  • self.set_requires_grad([self.netD_A, self.netD_B], True) 解冻两个netD的梯度
  • self.optimizer_D.zero_grad() netD的梯度清零
  • self.backward_D_A()
    • fake_B_pool.query(fake_B)取刚才G_A(B) → B的生成图像
    • 设置 netD real fake 调用backward_D_basic(D_A, realB, fakeB)
      • netD(real) 产生 (1,1,30,30)的输出
      • loss_D_real 输出和(1,1,30,30)的全1求MSEloss
      • netD(fake) 产生 (1,1,30,30)的输出
      • loss_D_fake 输出和(1,1,30,30)的全0求MSEloss
      • loss_D = (loss_D_real + loss_D_fake) * 0.5 然后反向传播
  • self.backward_D_B()
    • fake_A_pool.query(fake_A)取刚才G_B(A) → A的生成图像
    • 设置 netD real fake 调用backward_D_basic(D_B, realA, fakeA)
      • netD(real) 产生 (1,1,30,30)的输出
      • loss_D_real 输出和(1,1,30,30)的全1求MSEloss
      • netD(fake) 产生 (1,1,30,30)的输出
      • loss_D_fake 输出和(1,1,30,30)的全0求MSEloss
      • loss_D = (loss_D_real + loss_D_fake) * 0.5 然后反向传播
  • self.optimizer_D.step() 更新两个D的权重,和G不同的一点是,DA和DB的loss大小是不一样的

# 后面这些,都是次要的

• # display images on visdom and save images to a HTML file
  • visualizer.display_current_results()
• # print training losses and save logging information to the disk
• # cache our latest model every iterations
• # cache our model every epochs
• model.update_learning_rate() # 在每个epoch后根据学习率衰减策略更新学习率.

然后说一些前面可能描述不是特别详细的,PS:记住一点,D的目的是能区分出来这是生成的,G的目的是让生成的假图片和真的差不多,让D看不出来

name	AB	discrimination
fake_B	→	G_A(A) => B
rec_A	→ ←	G_B(G_A(A)) => A
fake_A	←	G_B(B) => A
rec_B	← →	G_A(G_B(B))=> B
idt_A	↳	G_A(B) => B
idt_B	↲	G_B(A) => A

网络中生成图像的描述

D	real	fake
D_B	real_A	fake_A
D_A	real_B	fake_B

有关backward_D_basic的两次计算

其中real_A和real_B是数据集里作为输入的图像

discrimination	ideal
D(real)=>(batchsize,1,30,30)	ones(batchsize,1,30,30)
D(fake)=>(batchsize,1,30,30)	zeros(batchsize,1,30,30)

详细的解读一下各文件 ：

1.train.py文件

21-25行不说了，都是导入一些基本的类。 

第27行的意思是，如果这个脚本作为主脚本使用，那么就运行下方的东西。28行是先把TrainOption实例化成对象，然后用parse进行解析，这样形成一个结果，赋给opt，也就是说，opt解析出来的结果。29行是根据这个结果去创建数据集。30行获取数据集中样本的数量。31行不说了。

33行是创建模型。34行是根据opt创建合适的学习率调整策略、导入网络并打印。第35行是根据opt创建可视化实例。36行是训练迭代次数。

第38行是迭代过程的开始，opt.epoch_count是从哪个epoch开始，opt.n_epochs_decay是持续多少epoch。39-40行不说了，获取这个epoch开始的时间和本轮epoch导入数据的时间。41行是在本轮epoch当中的第几次迭代。42行是可视化机器的重置，保证在每个epoch里它至少有一次保存图片。43行是在每次epoch之前率先更新一下学习率。

第44行就是每个epoch内部的循环了，enumerate函数的作用是同时列出数据和下标，这个无需多说，注意这里的i是batch的编号，而data也不是一张图，而是一个batch的图。45行是本次iteration开始的时间。46-47行是说如果总迭代次数total_iters到了opt.print_freq的整倍数，就计算t_data，也就是本轮iteration开始的时刻到本轮epoch导入数据的时间已经过去了多久。49-50行指的是，一共多少个数据参与了训练以及本轮epoch里有多少数据参与了迭代。51行是把每一个数据解包，52行是参数优化，这些都是在model当中的basemodel.py当中定义的。

54-57行是数据可视化的部分，如果本轮epoch当中已经参与迭代的样本总数是opt.display_freq的整数倍，那么执行55-57行的操作。55行是返回一个叫save_result的布尔值，用于判定是否需要存出结果到html文件里。第56行是只有在着色任务中才有用，是展示图片的命令，其他的模型中compute_visuals函数只有一个命令，那就是pass。第57行则是存储到html文件里的命令，其中save_result就决定本行是否执行，可以参见util文件夹里的visualizer.py。

59-64行是打印的部分。如果本轮epoch当中已经参与迭代的样本总数是opt.print_freq的整数倍，那么执行60-64行的操作。第60行是获取当前的损失函数。第61行是计算每个图片所用的时间。第62行是输出当前的损失值，后面的参数含义大家可以点击util文件夹下的visuallizer.py去查看相应的函数。63-64行是损失值可视化的部分，如果window id of the web display这个值大于0，那么就利用plot_current_losses函数输出，参数的含义可以点击util文件夹下的visuallizer.py去查看相应的函数。

66-69行是保存权重文件的部分，如果本轮epoch当中已经参与迭代的样本总数是opt.save_latest_freq的整数倍，那么执行67-69行的操作。67行不说了，68行是设置保存后缀，69行是保存模型。

71行是重新获取时间。72-75行也是在保存模型，不过这次是在每个epoch结束的时候。

77行是输出，无需多言。

2. test.py文件

它将从’–checkpoints_dir’加载保存的模型，并将结果保存到’–results_dir’。它首先在给定opt选项的情况下创建模型和数据集。它将硬编码一些参数。然后，它对“–num_test”图像运行推断，并将结果保存到HTML文件中。 

29-34行不用多说了，导入包。

36-39行是导入wandb包，可以帮我们记录超参数指标。

42-43行不说了，和上面的train.py有异曲同工之妙。45行，测试模式仅能使用单线程，至于哪一个线程，你可以去自己指定；46行，batch_size只能为1；47行是确定数据需不需要打乱；48行则是是否翻转；49行是放弃展示图片；50-52行不说了，上面的train.py里解释过是什么含义。

54-57行，没太看懂。不太熟悉wandb这个包的含义。

59-行，是在创建网站。60行是在确定地址。61-62行是要根据本轮迭代来确定网址的域名（整体）。63行不说了，就是打印一下结果。64行是确定网页的地址和标题（这块可能得在util文件夹里头找html.py）。68-69行是评估模式开启。

70-72行比较简单，不再重复。73-74行也比较容易理解，分别是解包数据、测试。75-78行可以参考注释，获取图像结果、获取图像路径，每隔5个图片打印一次。79行是保存图片到html中，参数的含义可以点击util文件夹下的visuallizer.py去查看相应的函数。最后80行，保存html。

3.根目录中的文件夹

之后，我们再来看看各个文件夹都是怎么回事。 

3.1 docs文件夹

docs文件夹不多说了，里头是各种说明文档。 

3.2 .git文件夹

.git文件夹也不多说了，这是用于分布式版本管理的工具，具体什么是git请自行百度。在我【教程搬运】的专栏下也有专门介绍git的博文。 

3.3 data文件夹

data文件夹，里头是各种和数据加载、处理的模块。里头的__init__.py是一个接口文件，basedataset.py是一个基础文件（包含一些常见的转换功能，有点相当于公用的“基类”，不知道怎么描述了），template_dataset.py这是一个模板，相当于示例文件。其它的都是具体的数据集对应的文件了。 

3.3.1 template_dataset.py

首先让我们聚焦一个模板文件，也就是template_dataset.py，在这里我们仅仅给出一些说明，读完之后觉得抽象也没关系，我们后面还有例子（3.3.2节之后），慢慢体会，慢慢读就可以了。 

这个文件主要起到一个模板的作用，是一个参考，具体说明如下：

这个脚本可以被当做一个模板，被用于创建新的数据类型。如果说此时此刻的我们想建立一个新的数据类型dummy，就需要在这个根目录底下创建一个名叫dummy_dataset.py的文件，里面需要定义一个类，名叫DummyDataset，而这个类需要继承父类BaseDataset（当然这个类就在data文件夹中的base_dataset.py之中），在类DummyDataset这里面需要实现四个重要的功能，我们将在后面仔细分析。
创建完之后如何使用呢？可以通过–dataset_mode template来指定，但需要注意，你所创建的类名class TemplateDataset、在–data_mode后面所指定的template、文件名template_dataset.py这三者都要保持一致，在实际应用中把template换为你自己的数据集名。具体的命名规范在template_dataset.py这个脚本前面有表述。
好了，刚刚我们已经说明了这个模板函数的作用，下面让我们详细地说一下要实现的是个具体功能：

__len__函数，用于统计数据集里有多少数据，这无需多言，里面需要传入一个self参数，这显然是实例化之后的对象。返回值一般是len(self.A_path)，括号内的内容是访问self的路径属性。
modify_commandline_options函数，用于添加针对这个数据集特定的选项，这个脚本里头只是一个样例。
__getitem__函数，这个函数将用来获取数据点，最后要返回的是数据和数据的路径，{‘data_A’: data_A, ‘data_B’: data_B, ‘path’: path}，一切信息就都包含在这样一个字典里头。
__init__函数，注意到它需要传入两个参数，一个是self，另一个是opt，前者就是将类进行实例化出来的对象，不用管；后者是我们添加的选项，在options里头文件夹里头有一些BaseOption，我们的opt必须是其中的子集。然后先得继承一下BaseDataset.__init__这个方法，之后在此处要获取数据集的路径，并且还要对输入数据进行一定的预处理。
为了便于大家理解__init__函数，我列举了single_dataset.py这个脚本里的内容进行举例。

    def __init__(self, opt):
        """Initialize this dataset class.

        Parameters:
            opt (Option class) -- stores all the experiment flags; needs to be a subclass of BaseOptions
        """
        # 调用BaseDataset.__init__方法，将创建好的对象self和你在训练命令里的opt传入。
        BaseDataset.__init__(self, opt)
        # 用opt.dataroot解析出数据路径，opt.max_dataset_size解析出最大允许数据集大小。
        # make_dataset函数是用来制作数据集，返回值是一个图片组成的列表。
        # 最后使用sorted函数对图片进行一下排序。
        self.A_paths = sorted(make_dataset(opt.dataroot, opt.max_dataset_size))
        # 这是对输入进行处理的部分。
        input_nc = self.opt.output_nc if self.opt.direction == 'BtoA' else self.opt.input_nc
        self.transform = get_transform(opt, grayscale=(input_nc == 1))

读完上面我写的，你可能一头雾水，没事，我们马上就利用示例来分析。

3.3.2 init.py

这个脚本主要是提供接口。里头分成两部分，第一部分有三个函数，第二部分是一个类，里头也有几个函数。 

让我们先进入第一部分。

先来看第一个函数find_dataset_using_name，这个函数在这个脚本之外就再也没使用过，推测这个函数是用来按照数据集名称来寻找所对应的dataset类的。我们可以简单地把这个函数的功能理解为，给定一个数据集名，例如Single，我们将singledataset.py脚本中的SingleDataset这个类进行实例化，并返回。整个函数乍一看很难理解，其实不然。第一行dataset_filename = "data." + dataset_name + "_dataset"就是一个简单的拆解，便于第二行datasetlib = importlib.import_module(dataset_filename)进行导入，有人会好奇这第二行是在干什么，这一行是在动态导入对象，dataset_filename只不过就是一个索引而已，导入之后的结果是一个类实例化后的对象datasetlib。这时候小朋友们可能又要问我了，为什么是一个类实例化后的对象？因为你注意看左侧的data文件夹下，任何一个数据集（比如single）是不是都对应着一个脚本（例如：single_dataset.py），而这个脚本里是不是有一个类名字叫做SingleDataset。以后，凡导入这种类实例化后的对象，都是需要动态导入对象的。有些小朋友又会问了，为什么我们要导入这个类的对象，你不是要导入数据集么？很好，我们来看这个类是不是有__getitem__函数，你的数据都是这么被读入的，你可以理解为，数据集被存到这个类实例化后的对象里了。第三行定义一个变量并初始化dataset = None。第四行target_dataset_name = dataset_name.replace('_', '') + 'dataset'，简单的文字编辑。第五行到第八行就要正式进入循环了，我们来看datasetlib.__dict__.items()，感兴趣的同学可以去查查__dict__是干什么的python中__dict__的作用是什么？ 请参见__dict__的用法
，__dict_也是一个魔法函数，可以把一个类当中定义的属性和方法都作为一个字典返回，而datasetlib.__dict__.items()其实就是方便这个循环遍历这个字典，有小朋友可能会问，为什么我们要遍历？我来告诉你，因为这个类里有很多的属性或方法形成的键值对，而我们需要的只有那些图片名称和图片组成的键值对，所以我们才要在这个循环中的if函数判断其键名name是不是我们所需要的类名，然后如果它同时也是BaseDataset的子集，就说明遍历过程中当前这个cls就是我们所需要的数据集所对应的类。把它读出来给dataset。第九行到第十行是报错信息，如果第九行的条件语句被触发了，那么第十行的raise就会自动执行错误信息，raise是Python一个常见的语法。最后，这个方法显然返回的是第十一行的dataset，return dataset。注意，这个地方的dataset其实还是一个类形成的实例化对象，千万不要认为里头只有图片。
来看第二个函数get_option_setter。这个函数返回的是一个静态方法，这个方法就负责对命令里的option进行编辑（而这些命令就是我们平时启动训练/测试脚本的时候所使用的那些命令），而这个方法就存在于dataset_class这个类里头，这个类又是怎么获取的呢？答案就在上面一个函数里。
再来看第三个函数create_dataset，这次要根据所给的option真正地制作一个数据集了（不再像第一个函数那样返回一个类），代码结构也很简单，一行实例化，一行调用load_data()方法，最后返回所需数据集。但是我们还没有看到CustomDatasetDataLoader这个类呀。别急，我们先继续往下。
来让我们进入第二部分，CustomDatasetDataLoader这个类。

先看看__init__函数吧，需要传入的参数一个是self，就是实例化之后的对象，另一个是opt，也就是各种选项。第一行是self的性质，也就是self.opt，这个就等于你传入的参数opt，第二行，代码是dataset_class = find_dataset_using_name(opt.dataset_mode)，这是在做什么？右侧的函数返回值是一个实例化对象，也就是说dataset_class只是一个由相应的Dataset这个类实例化之后的对象（这一点从上面 find_dataset_using_name函数的解释就可窥知一二），然后转化成self.dataset，而self.dataset也是个实例化的对象，这个是要传入到torch.utils.data.DataLoader中的，而且你阅读一下torch.utils.data.DataLoader的使用方法就会发现，第一个参数一定是一个实例化之后的对象。torch.utils.data.DataLoader这个是一个非常常用的Pytorch导入数据之用的东西，具体的用法请参见torch.utils.data.DataLoader的用法，而在这个函数里头，第75-79行这几行代码不难理解，因此我不再赘述。
然后来看看load_data函数，这个没的说，就是读取数据，然后返回self其实也就是返回实例化之后的对象，也就是把数据集导出。
__len__函数就不说了，具体作用大家都懂。
__iter__函数的作用是生成一批数据（batch）并迭代。enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。yield的使用可以从这个链接yield的使用当中得到答案，它的作用是生成一个迭代（常见的迭代比如说斐波那契数列）。
总而言之，这个脚本就是围绕着create_dataset这样一个函数展开的，目的就是根据opt制作数据集，只是一个接口而已。

3.3.3 base_dataset.py

这个文件实现了一些基础的数据读取、转换功能。在BaseDataset类中，所有的函数基本都留空，这个是要根据具体的数据集来确定的，所以base_dataset.py里的这块是空的，可以在template_dataset.py查到每个函数对应的用法示例，而实际的应用就是single_dataset.py、colorizationo_dataset.py等文件里的用法。

我们来看看在BaseDataset类之后有什么函数。

get_params：前面的if语句是根据opt.preprocess去计算新的宽、高大小，而73、74行则是计算x，y，这是两个参数，用于表示图像截取的位置，random.randint(0, np.maximum(0, new_w - opt.crop_size))具体代表什么含义呢？我们不妨这么想，20×20的图片，我们要把它裁剪成10×10，那么裁剪的位置（左上角坐标）只能在左上方10×10的区域之内，要不然的话，被裁剪出的图片就无法成为10×10的图片了，这两行随机数生成就是干这个的；flip参数则是通过生成随机数的方式来计算翻转概率。这里我要多说一句，Transform是torchvision里用于图片预处理的中药模块，里头规定了很多歌变换，使用者经常通过Transform.Compose将其组合起来，如果我们需要的功能源代码里头不能实现，就需要自己定义函数，有关这部分内容可以参见Torchvision中Transform的使用。
get_transform：这个函数的作用即使把所有预处理的方案组合一下，形成一个list，这个list就记录着我们所有的预处理操作。我们来看看81行的几个参数：opt, params=None, grayscale=False, method=Image.BICUBIC, convert=True，opt不说了，就是指定的各个选项；params是上一个函数获取的，默认情况下是None；grayscale应该是是否进行灰度处理；method指的是放大图片的方法，Image.BICUBIC是双三次插值的意思。注意第83-84行，如果grayscale参数是Ture，就执行transforms.Grayscale(1)，这个1指的是一个通道；85-87行是说，如果resize为True，则通过双三次插值把图片resize到指定大小；88-89行是等比调整大小，注意前面是elif而不是if，说明和前面的85-87行是有关联的；91-95行是关于裁剪的设定，先要判定params是不是None，如果不是，那就不能采用随机裁剪，而是指定裁剪左上角的点，并指定裁剪大小；97-98行的意思是，如果什么预处理操作都没有，那么就要通过人工调整把图片的宽、高数值调整成4的倍数；100-104行是翻转的相关操作；106-111行属于细微的调整，执行了两个操作，分别是张量化、标准化。最后将所有的变换操作compose到一起。
__make_power_2：这个函数就是要根据给定的方法（例如：双三次插值），将图片变成指定的大小。其中的round函数是一种四舍五入的方法。
__scale_width：这是用于调整大小的一个函数，不难读懂。
__crop：这是用于图片裁剪的一个函数，不难读懂。
__flip：图片左右反转，这个函数不用我说了吧。
__print_size_warning：这个函数只是用来打印一个警告，告诉人们所输入的图片不合乎要求，需要将宽高调整到4的倍数。 

3.3.4 image_folder.py 

这是一个和图片读取有关的脚本。1-16行不说了，很容易读懂，我们从后面说起。 

is_image_file：这个脚本不说了，判定是否为图片。
make_dataset：这就是制作数据集的函数。assert函数就是先判断dir是否是一个路径，如果不是，输出后面的报错信息。os.walk是根据给定的路径dir进行遍历，该函数返回一个 [ 文件夹路径，文件夹名字，文件名 ] 的三元组序列。28-32行很简单，我就不解释了。
default_loader：这是一个默认的“读取器”。指定默认的读取路径，然后转换成RGB图像。这个函数是为后面做准备的。
ImageFolder：这是一个类。43行，根据root来制作数据集，imgs实际上是一个列表；44-46行是在必要的时候返回错误信息；48-52行我就不说了，很容易；54-55行，根据索引来寻找指定序号的图片，56行，根据你给定的loader（52行定义的）去加载图片，存入变量img里，57-58行是预处理，处理的方式在50行已经给定，59-62行就是返回而已，比较容易读懂；64-65行不说了，统计imgs列表的长度，就是想看看数据集的大小。

3.3.5 aligned_dataset.py 

先插一句，为什么要准备对齐的数据，这是因为pix2pix模型要用这个。 

aligned_dataset.py包含一个可以加载图像对的数据集类。它设置好了一个图像目录/path/to/data/train，其中包含 {A,B} 形式的图像对。在测试期间，您需要准备一个目录/path/to/data/test作为测试数据。那么如何准备对齐的数据集呢，方法在这里。您也可以参阅/pytorch-CycleGAN-and-pix2pix/datasets/combine_A_and_B.py这个脚本，它就是我们在准备对齐数据的时候需要执行的脚本。我们在这里权且先不提，后面还会再说。

让我们来逐个分析在Aligned_dataset类里面的3个函数。

__init__函数：典型的接口函数。14-20行没啥可说的，很简单。第21行是在获取数据的路径（只有路径，没有图片），第22行在3.3.4节中已经说的非常明确了，注意这一行的返回值应当是一个列表，列表由图像组成。第23行是为了确保裁剪大小小于图片本身的大小。第24-25行，如果转换方向是B→A，那模型的input应该是opt里的output，反之则结论相反，而模型的output也有类似的结论。
__getitem__函数：40-41行是单独读取一张图片，并将其转化为RGB，43行是获取图片的宽、高，44-45行是从AB这一张图中获取A和B，什么意思呢？就是对齐的两张图。48-54行是对于图片的预处理，56行是返回一个字典，无需多言。
__len__函数：不用我多说了吧。

3.3.6 unaligned_dataset.py

unaligned_dataset.py包含一个可以加载未对齐/未配对数据集的数据集类。我们可以使用数据集标志训练模型--dataroot /path/to/data。 

依然是同样的三个函数，让我们来一一解读。

__init__函数：里面实现的各项功能和3.3.5节中的__init__函数是非常类似的。26-27行获取目录，29-30行生成图片列表，31-32行获取列表大小，33-35行判断转换方向，36-37行生成变换。
__getitem__函数：51-56行是获取图片索引的方式。57-61行是读取图片，并进行简单的预处理。63行就是返回了。
__len__函数：这个函数不用我说了吧。

3.3.7 single_dataset.py

single_dataset.py包含一个数据集类，可以加载由path指定的一组单个图像–dataroot /path/to/data。它只能用于使用模型选项为一侧生成CycleGAN结果-model test。 

里面的三个函数完全就是前面3.3.6的翻版，我就不再一一赘述了。

3.3.8 colorization_dataset.py

colorization_dataset.py实现了一个数据集类，可以加载一组 RGB 的自然图像，并将 RGB 格式转换为Lab颜色空间中的 (L, ab) 对。基于 pix2pix 的着色模型 ( --model colorization) 需要它。 

modify_commandline_options：这个函数的出现，意味着opt里头一些默认的选项要被修改了，因为对应着着色任务，所以输入维度是1（亮度），输出维度是2（也就是Lab颜色空间中的ab）。
__init__函数：接口函数。第41行的assert函数要注意一下，只有在括号内的内容为True方可执行，否则报错，而其它行基本都在之前遇到过，不再赘述。
__getitem__函数：56行是获取路径，57-59行是读图、转换、数组化，60-61行是从RGB颜色空间转换到Lab颜色空间并转化为张量；62-63行没太看懂，我推测是标准化，64行是返回值。这个函数的返回值A就是亮度，返回值B就是Lab颜色空间里的ab值。
__len__函数：不想说了。。。

3.4 imgs文件夹

这里是两个示例图片，也可以被用来存放效果图。  

3.5 models文件夹

模型目录包含与目标函数、优化和网络架构相关的模块。如果要添加一个名为的自定义模型类dummy，那么必须要添加一个名为的文件dummy_model.py并定义一个DummyModel类，这个类继承父类BaseModel。您需要实现四个功能：__init__初始化类（您需要先调用BaseModel.init(self, opt)）、set_input（从数据集中解包数据并应用预处理）、forward（生成中间结果）、optimize_parameters（计算损失、梯度和更新网络权重），以及可选的modify_commandline_options（添加特定于模型的选项并设置默认选项）。现在您可以通过指定 flag 来使用模型类–model dummy。有关示例，请参见我们的模板模型类。下面我们详细解释每个文件。  

3.5.1 init.py

_init_.py 实现了这个包与训练和测试脚本之间的接口。 train.py并在给定选项的情况下test.py调用from models import create_modelandmodel = create_model(opt)创建模型opt。您还需要调用model.setup(opt)以正确初始化模型。 

find_model_using_name：这个函数是根据参数model_name去找对应的模型。第32行的model_filename是这个model所对应的文件名，比如说里头有cycle_gan_model，就对应着models.cycle_gan_model，这是便于import所采用的方法。第33行就不说了，动态导入该文件中的类和对应的名字，形成一个字典，字典的结构是{name，cls}。第34行是先把model置为None。第35行也只是调整格式。第36-39行是重点，逐个判断所导入的字典里头的键值对，其中的name是否和target_model_name一致，如果一致且是BaseModel的一个子集，那么model等于cls并被返回，否则报错。
get_option_setter：这个函数是根据模型名来找到对应的类，赋值给变量model_class，并把其中修改opt的选项返回。
create_model：这个模型主要是将model实例化，并返回对应的对象instance。

3.5.2 base_model.py

base_model.py为模型实现了一个抽象基类 ( ABC )。它还包括常用的辅助函数（例如 , setup, test, update_learning_rate, ） save_networks，load_networks以后可以在子类中使用。  

我们来看看BaseModel这个类里包含了什么东西。

__init__函数：首先声明，如果您计划实现自己的类，在__init__函数里，必须要实现自己的初始化，怎么实现呢，要调用 <BaseModel.init(self, opt)>，举个例子：cycle_gan_model.py的第53行。接下来看看这个函数规定了什么属性：第32行的opt不说了；第33行表示的是使用的gpu对应的id；第34行可以传递的信息是本次是否是训练；第35行是在告知torch我们使用哪块GPU训练，还是使用CPU；第36行是数据保存路径；第37-38行：torch.backends.cudnn.benchmark这个东西是cuDNN的一个加速库，如果scale_width被执行，说明输入的图片很可能大小不一致，这将会妨碍神经网络的运算，关于详细的说明请点击这里；第39-43行，分别是损失函数、模型名称、想要可视化展示的图片、优化器、图片路径的列表；第44行我也没太明白。
modify_commandline_options函数：这个留空，具体问题具体分析。该函数是用于修改一些opt用的。
set_input函数：这个函数同样被留空，要针对具体情况具体分析。该函数是用于读取数据的，包含本身的数据和元数据信息。
forward函数：这个函数也被留空了，要针对具体情况具体分析。该函数用于生成中间信息。
optimize_parameters函数：留空函数，用来计算损失、梯度和更新网络权重。
setup函数：这个函数用来加载并打印网络结构，除此之外会创建好一个调度器。第84行是在判断是否是训练状态，如果是，则执行第85行的策略；第85行，首先定义了一个self.schedulers，这个东西是一个列表，用中括号括起来，for optimizer in self.optimizers指的是对于self.optimizers的每一个优化器，都要获取一下学习率更新的策略，怎么样才能获取呢？就是使用networks.get_scheduler(optimizer, opt)这个方法，注意到该方法源码就在networks.py的get_scheduler方法里头，我们下面的network.py的讲解里头会提到。第86-88行，如果self.isTrain这个标志不为真，或者只是继续训练（opt.continue_train为真），那么则要加载已有的网络，当然这块我也有个疑问，就是load_networks这个函数的输入明显应该是int类型（下面定义里头有注释），但为什么第88行其输入是一个字符串呢。不论如何，第89行都要根据opt.verbose是否为真打印一下网络。
eval函数：这是一个评估模式的函数，它将保证模型在测试阶段处于评估模式。对于self.model_names这个列表里头的每一个name（一个name就将对应一个model），第94行，如果name是字符串，那么可以使用getattr函数来判定self这个对象里是否有'net' + name这样一个属性，如果有，则把这个属性值赋给net变量，如果没有则报错，有关getattr()的用法请单击这里。当然，这里的属性值指的就是一个网络，也就是说net代表的是一个网络，所以第96行其实就是开启评估模式。
test函数：这是测试过程中前向传播的函数， with torch.no_grad()可以让节点不进行求梯度，从而节省了内存控件，测试的过程显然是不需要反向传播求梯度的，第105行是前向传播，第106行是计算visdom和HTML可视化的其他输出图像。
compute_visuals函数：这个函数我刚刚已经说过了，计算visdom和HTML可视化的其他输出图像。在train.py的第56行有用到这个函数，这是展示图片代码的一个组成部分。
get_image_paths函数：这个函数是获取图片所在的路径。
update_learning_rate函数：这个函数用来更新学习率。第118行是获取旧有的学习率，在Pytorch当中，optimizer.param_groups 是长度为2的list，其中的元素是2个字典，详情请单击这里查看，其中的optimizer.param_groups[0]是长度为6的字典，包括[‘amsgrad’, ‘params’, ‘lr’, ‘betas’, ‘weight_decay’, ‘eps’]这6个参数，所以说我们看到的optimizers[0].param_groups[0][‘lr’]就是optimizers[0]这个优化器的学习率。第119-123行其实就是更新学习率的主体部分，其本质是针对每一个self.schedulers这个列表里的元素，根据self.opt.lr_policy来安排一个学习率更新的方法，注意如果学习率更新策略是plateau，会和其它的有些不同，这种情况下第44行已经说了，self.metric=0，其它的只要正常按照step去更新学习率就可以了。关于scheduler.step()这个东西，可以看看这里，我们只需要知道，他是一个用于更新学习率的东西就可以了。第125行是获取现有学习率，第126行是打印学习率的变化。
get_current_visuals函数：用来返回可视化图像。第130行，visual_ret = OrderedDict()是实现对字典的元素排序，赋给visual_ret这个变量，对于self.visual_names列表里的每一个name，第133行都要获取它对应的属性，存入visual_ret这个字典中，和’name’组成一个键值对，最后字典visual_ret被返回。这里的属性可能指的是一张图片。
get_current_losses函数：获取当前的损失值。有人可能会好奇，为什么会有和诺损失函数呢？这是因为每一层所采用的损失函数很可能是不一样的。
save_networks函数：保存整个网络。第150-154行比较好理解，就是指定好保存路径，获取属性（网络）。第156行是在判断GPU是否可用，是够规定了使用gpu进行训练（通过gpu_ids来判断），显然通过这行我们可以知道，CPU和GPU模型的保存模式是完全不同的，在156-160行中，.state_dict()这个方法是用来提取网络中参数的，我们要保存模型，当然是为了保存参数，第158行的意思是说，使用GPU中的第0块进行训练。但为什么这块还要训练一遍我不太懂。
__patch_instance_norm_state_dict函数：这个函数我一直没太懂是什么意思，不过看里面的注释，好像是为了解决Pytorch版本低于0.4的不兼容问题，而我使用的Pytorch是1.10.2，自然没有理会这个函数。
load_networks函数：这是导入网络的函数。从第182行开始，对于self.model_names当中每一个name。第183行，如果这个name是字符串类型，那么就执行后面的操作。第184、185行就是字符串的拼接，获取导入的文件名load_filename和导入的路径load_path。第186行是找到属性的一个办法，回传的是一个属性，即：网络net。第187行，注意isinstance这个函数，它的结构是isinstance(object, classinfo)，前者是对象名，后者是类名，也就是判断这个对象是否属于这个类，类似的前面的183行，isinstance(name, str)，str也是一个class，所以这一行就是判断net是否属于torch.nn.DataParallel这个类，而torch.nn.DataParallel又是什么呢，它是用于多GPU并行计算的一个类，可以理解为如果属于torch.nn.DataParallel类，那么就需要使用多GPU。第188行，如果要使用多GPU，那每一个GPU上的net应该相当于原有net当中的module，也就是说使用nn.DataParallel后，事实上DataParallel也是一个Pytorch的nn.Module，那么你的模型和优化器都需要使用.module来得到实际的模型和优化器，这就是为什么会有第188行的代码，更多关于并行计算的内容请单击这里。第189行略过。第192行，torch.load这个函数可以加载模型，里头的参数一个是模型存放的路径，另一个是用于训练的装置map_location，当然啦，加载模型的实质是加载参数，这些参数就会被存储在state_dict这个字典之中。第193-194行，首先判断参数字典里是否包含元数据这样的属性，也就是第193行里的__metadata，如果有就删除（因为元数据是描述数据的数据，而我们加载网络参数的时候显然是不需要获取这些元数据的）。第197-198行同样也是兼容问题，所以我们也就没有理会。第199行就是将参数字典导入到我们的网络中了。综上所述，实际过程分成两步，第一步是将导入参数，第二部是将参数字典加载到net里。
print_networks函数：请注意208-210行这个结构出现过很多次了，应该注意记住。param.numel()的功能是返回param中元素的数量，所以说num_params是在统计所有参数的数量。第214-215行不说了，根据verbose判断是否要打印网络。216-217行也很容易理解。
set_requires_grad函数：第225-226行的意思是，如果net不是列表，要先把它列表化；后面的很好理解，把每一个参数是否需要计算梯度设置为您一开始给定的参数值。

3.5.3 template_model.py

这个脚本主要是用来做模板之用。该模块为用户提供了一个模板来实现自定义模型，可以指定“–model template”来使用此模型，类名应与文件名及其模型选项一致。文件名应该是_dataset.py，类名应该是Dataset.py。它实现了一个简单的基于回归损失的图像到图像的转换baseline。给定输入输出对(data_A,data_B)，它学习可以最小化以下L1损失的网络netG，使得：  

min_<netG> ||netG(data_A) - data_B||_1

modify_commandline_options函数：这个函数专门用来更改opt当中的选项，比如第35行就是把默认的dataset模式改成“对齐”。第36、37行就是在训练状态下，为它新加一个标签，即：lambda_regression，默认值是1.0，第39行不说了。
__init__函数：第51行，对Basemodel通过Basemodel这个类里的__init__函数进行初始化。第53行是指定你想要输出的损失函数名称（把所有的名称存放在这个列表里），程序将会调用base_model.get_current_losse来返回损失函数值并存储。第55行是在调用一个函数去存储，这些图片的保存是通过base_model.get_current_visuals来实现的。第58行是指定需要存储/调用的模型的名字，通过base_model.save_networks和base_model.load_networks来实现，你可以使用opt.isTrain去控制训练和测试模式，这二者往往是不同的。第60行是在定义生成器G，在同一级目录的network里有一个define_G的函数，我们在这里就是调用了这个函数，需要传入的参数包括输入、输出、最后一个卷积层里有多少filter、网络名、使用哪块GPU去训练。第61行，是判断语句，无需多言，注意self.isTrain是在base_model.py里定义的。第64行是定义一个损失函数，把这个损失函数赋值给self.criterionLoss。第67、68行是在定义一个优化器，并把优化器存入优化器列表里，这里我们选用了Adam优化器，具体的公式请参见这里。
set_input函数：这个函数是专门用来设定输入的，第78行是一个判断语句，方向是否是AtoB。第79-80行是读取数据之用，并把它们送入self.device这个装置里，第81行是找到输入图片的路径。
forward函数：第85行就是一个前向输出。
backward函数：这是反向传播。第91行，criterionLoss就是L1损失，后面再去算一个回归损失。self.loss_G.backward()就是计算梯度，并且实现反向传播。
optimize_parameters函数：96-99行注释已经说得很明确了。

3.5.4 network.py

第1-5行是导入一些基础的包。前两行比较简单，第三行的作用是让我们可以使用torch.nn.init进行初始化参数，第四行这个包是一个针对函数进行操作的函数，第五行是导入优化器。  

下面介绍Identity这个类。

里面只有一个forward函数，这个函数比较好理解。
下面介绍get_norm_layer这个函数。
这个函数的作用是得出“标准化层”。传入的参数只有norm_type，也就是标准化的方式，这个里头有三种办法，第一种是batch，第二种是instance，第三种是不操作，最后是报错信息，并返回norm_layer.这里就要简单来说说几种归一化方式了，比较详细的介绍可以参考这里，一个图片分成3个通道，于是就有了H×W×C这样的维度，而B张图片加起来就形成了一个batch，这样就变成了，首先是BatchNorm，这种方式会让某个batch中所有的图片位于（c，h，w）这个位置的像素进行标准化，InstanceNorm这种方式对在某张图片的某一个channel内H×W的全体像素做归一化，在这里补充一下Layernorm是什么，这其实是对一张图片的不同通道的同一位置的像素最归一化。只有BatchNorm需要仿射变换以及追踪统计信息。
下面介绍get_scheduler这个函数。
这个函数是用来获取学习率更新策略的。具体每种策略都是怎么回事可以自行查找，不是太难理解。
下面介绍init_weights这个函数。
这个函数用来初始化网络的权重用的。传入参数是初始化的类型和增益的大小。传入的参数m是一个类，79是要获取类名，第80行的意思是如果m包含属性weight且name里有conv或是Linear，则执行下面的操作，注意.find函数的用法。 81-90行是各种权值初始化的方法，不再赘述。91-92行是一个偏差值的指定，相当于y=wx+b里头的b。93-95行则是指BatchNorm2d的情况（输入为2d）。97-98行就是应用。
下面介绍init_net函数。
这个函数将通过调用刚刚的init_weights函数来实现权值初始化，返回一个net。
下面介绍define_G函数。
这个函数用来定义生成器。需要的传参在122-133行详细地说过了。同时我们有两类网络备选，分别是UNet-128/256和Resnet6/9.第146行，设定net的初始值是None（即：什么都没有），第147行是获取标准化层（比如：BatchNorm2d等），后面对类进行实例化的时候会用到。149-160行这个想要读懂并不困难，就是实例化，我们会在后面的文章里介绍那些类。
下面介绍define_D函数。
这个函数用来定义判别器，和刚刚的define_G函数有异曲同工之妙。165-175行详细解释了每个参数的含义，此处不再赘述。177-190行是对网络的各种介绍。192-193行和146-147行是完全一样的。195-203行也是在实例化，我们将在后面对这些类一一揭晓。
GANLoss类
这个类是用来创建不同的GAN对象的，按照注释内所说的，他把“创建与输入大小相同的目标标签张量”这一任务抽象化了。换言之这是用来创建标签用的。

__init__函数：这个函数主要是定义损失函数。需要传入的参数包括gan的模式、目标真值、目标非真值。227行是初始化，228-229行是在保存一些不会更新的模型参数，关于register_buffer函数的用法请参考这里。230行是指定新属性。231-238行是根据gan模式来定义损失，234行的含义请点击这里。
get_target_tensor函数：创建与input大小相同的标志向量。传入参数注释里有明确介绍。第255行就是把target_tensor这个tensor转换成和prediction一样的大小。
__call__函数：这个函数并不难理解，就是计算损失而已。这也是这个类的基本功能。
cal_gradient_penalty函数。
计算梯度惩罚损失，用于WGAN-GP论文，和CycleGAN关系不大。280-291行详细解释了传入参数的含义。由于该函数和CycleGAN关系不大， 我们权且略过。
类ResnetGenerator：
这个类是用来定义残差结构的。
__init__函数：322-332行着重介绍了每个参数的含义。333行是为了防止不合理的数据添加的报错信息。334行是继承。335-338行没太看懂，感兴趣的同学可以看这里，不过大概是确定是否使用bias。340-343行是模型结构的第一部分，其中nn.ReflectionPad2d()的用法请点击这里，这一行指的是在图片上下左右都填充3行；nn.Conv2d是卷积，详细用法看这里；然后是342、343行的标准化、ReLU激活。345行是定义降采样次数，346-350行是模型的扩张。352行就是看一下目前的图片有几个通道（不出意外应该是4倍ngf），353-355行是加入残差块，357-364行执行了两次上采样过程。365-367行是填充、卷积和tanh函数激活，369行将模型确定。
forward函数：这是车头车尾的前向传播。
类ResnetBlock：
这是用来定义残差块结构的。
__init__函数：387行是继承，388行是后面的build_conv_block函数，具体参数会在下一个函数里解释。
build_conv_block函数：391-401行已经把参数的含义揭示了一遍。402行为初始化一个空列表，403-411行都是去进行填充。413行添加新的卷积层、批归一化、ReLU函数。414-415行是随机丢弃一部分神经元，417-426行是把之前的操作又搞了一次，只不过这次没有ReLU激活和dropout。428行是把模型组合起来。430-433行是前向传播的过程。

类UnetGenerator：
这个是用来定义UNet生成器结构的。
__init__函数：440-451行解释说明了参数的含义。452行是继承，454-461都是在定义Unet的结构，大体来说是这样的。

forward函数：前向传播。
类UnetSkipConnectionBlock：
这个类用于定义UNet里面的小结构。
__init__函数：476-487行是已有参数的说明。488行是继承。489行是判断是否为最外侧的一行。490-493行也是决定是否使用偏移。494-495行就是对中间的层采取的措施，在这样的层里，input_nc一开始是None，我们把input_nc和输出的outer_nc设为相等，因为一个Unet子结构是不改变图片通道数量的。见下图。496-499行是下采样过程中的卷积层、激活函数、归一化。500-501行是上采样过程中的归一化、激活函数。503-522行根据三种情况来确定上采样过程中的模型。524-527行是上面的第三种情况里才会调用，总的结构是不难理解的。
forward函数：531-535行是前向传播，这个无需多解释，注意torch.cat是合并的意思，第二个参数是1，说明是横向合并。
类NLayerDiscriminator
这个类是用来创建判别器的。
__init__函数：这个是初始化。542-549行都是参数的定义。550行是继承。551-554行是针对偏移量做出决定。556-558行是在对模型进行组装，形成模型的第一步。559-568行是第二步，也就是逐步增加filter的个数，当然，第二步这个模块的数量和n_layers这个参数是密切相关的。570-576行是第三步，578行是第四步，579行是组装模型。
forward函数：581-583行是前向传播。
类PixelDiscriminator：
__init__函数：590-596行是在介绍参数的含义。597行是继承。598-601行是判断是否需要偏移量。603-609行是网络的定义，总的来说没什么难度。611行是给self.net赋值。
forward函数：613行-615行是前向传播。
至此，network.py长达616行的脚本解读完毕。

3.5.5 cycle_gan_model.py

第2行的itertool是一个Python提供的迭代工具箱，第3行image_pool.py实现了一个存储先前生成的图像的图像缓冲区。这个缓冲区使我们能够使用生成图像的历史而不是最新生成器生成的图像来更新鉴别器。后面就是CycleGANModel这个类，第12-15行有非常明确的概述，dataset模式要使用“非对齐、未配对”，它会使用带有9个残差块的生成器网络结构，并使用PatchGAN这样的判别器结构，以及一个最小方根的GANs对象（就是说损失函数使用LSGAN，平方损失），我们来逐个分析其中的函数。 

modify_commandline_options函数：这个就不说了，基本就是option。第39行默认不使用dropout，第40-43行，是指定上面几个损失函数项的权值，45行不说了。
__init__函数：第55行是损失函数列表，里头有几种损失函数’D_A’, ‘G_A’, ‘cycle_A’, ‘idt_A’, ‘D_B’, ‘G_B’, ‘cycle_B’, ‘idt_B’，其中'D_A'和'D_B两个判别器的损失，'G_A'和'G_B'是两个生成器的损失，上面这四项在公式（1）及公式（1）的变体里边都有体现；'cycle_A'和'cycle_B'这两个是循环一致性损失，见公式（2）；'idt_A'和'idt_B'是公式（5）里出现的，针对图片→照片任务的损失项。第56-61行指的是要展示/保存的图片，57行是真实的A、经cyclegan转化出的B、经cyclegan重建的A，第58行则是换成B；第59、60行是针对着色任务开辟出来的两项；第63行没什么可说的，就是组合而已。第65-68行是模型的组合情况，就是有哪些模型会被使用。第73-76行没啥可说的，是定义生成器的地方，define_G这里面的参数是什么意思，在1.2.5.4节中有介绍。第79-82行更是类似，生成判别器的地方，define_D这里面的参数是什么意思，在1.2.5.4节中有介绍。第84行跳过，85-86行指的是，如果有“图片→照片”的任务，那么应该保证输入图片和输出图片的尺寸一致，否则报错；87-88行是给训练过程中制作一个imagepool，用于存储历史图片，fakeApool和fakeBpool分别是“BtoA”和“AtoB”情况下的imagepool。第90行是根据你选择的gan模式（opt.gan_mode）确定一个模型，并将其输送到self.device里，剩下两个损失完全都采用了L1损失函数。第94-95行是设定优化器，注意其中的itertools.chain是迭代，也就是把里面所有的参数组合起来，每轮训练过后一起迭代，lr和betas可以自己去查Adam优化器的相关知识，不再赘述；第96-97行是把设定好的优化器加在既有的self.optimizers列表里，这个列表来自basemodel.py。
set_input函数：这个函数和此前的basemodel.py非常像，不再赘述，也很容易看懂。
forward函数：前向传播，非常容易理解，不再赘述。
backward_D_basic函数：第130-135行是用于判别器计算损失的，131、134行就不说了，利用netD去进行判别，得到预测值pred_real和pred_fake，然后再根据这两个值去分别计算损失loss_D_real和loss_D_fake，并且在137行将其combine成为loss_D。138、139行就纯粹是反向传播和返回值了。
backward_D_A函数：第143行是把self.fake_B_pool这个imagepool通过query这个函数拆成单张图片，例如：fake_B。第144行self.loss_D_A是利用上一个函数计算损失值。这个损失值代表的就是从A到B这个风格的转换，所造成的真实B和生成B的区别。
backward_D_B函数：和上面的backward_D_A函数很接近。
backward_G函数：153-155行是权重的计算。156-166行代码的理解并不困难，这是在“图片→照片”任务中会使用的损失，公式可能有点难以理解，不过和原论文5.2节里的东西是完全一致的。168-178行则是简单的损失函数定义并反向传播，没有什么难点。
optimize_parameters函数：这个函数的注释也已经很友善了。有一点不太明白，更新生成器的权重，不需要判别器，但更新判别其权重，却需要生成器？

3.5.6 pix2pix_model.py

该任务和我们的CycleGAN任务暂时无关，是pix2pix里的任务，我们暂时不谈。 

3.5.7 colorazation_model.py

 该任务和我们的CycleGAN任务暂时无关，是pix2pix里的任务，我们暂时不谈。

3.6 option文件夹

这个文件夹里的4个文件都是用来规定训练命令里的选项之用。init.py是一个接口类型的文件，没有什么用。base_option.py是一些基础性的选项，它还实现了一些辅助功能，例如解析、打印和保存选项。它还收集modify_commandline_options数据集类和模型类的函数中定义的附加选项；而剩下两个文件则分别对应着训练时、测试时的一些选项，原脚本已经把里面的参数解释的明明白白了。 

未完待续。。。