0. 前言
这也是一篇合成数据集的论文。
paper: Domain Adaptation through Synthesis for Unsupervised Person Re-identification
github: 无
项目地址: 无
1. Introduction
针对的问题是行人重识别数据缺乏在不同光照条件下的多样性，所以作者进行了数据合成。
HDR maps: high dynamic range environment maps.
three-step domain adaption technique:
- Illumination inference
- Domain translation
- Fine-tuning
其他
这篇文章看得我有点迷迷糊糊的，感觉其中用到了cycleGAN，优化了cycleGAN的一个损失函数，但是怎么进行的illuminaion inference、fine-tuning，没有充分理解。
罗浩对这篇文章的解读
https://zhuanlan.zhihu.com/p/44212707
由于训练数据的缺乏，以及3D建模的技术增强，利用游戏等合成的逼真数据来进行视觉研究已经逐渐打入各个领域。这一篇就是利用电脑合成数据在进行ReID的论文。论文提出了新的合成数据集SyRI dataset，该数据集通过改变HDR参数等，一个行人ID可以拥有一百多个环境下图像数据。此外，为了在未见过的真实场景上实现更好的域适应效果，论文基于这个合成数据集提出了一种新的方法。
整个Pipeline包括三个环节。第一步是拿到了target domain $R{M+1}$ 的一些未标注图片之后，要对光照进行一个推理，在合成数据集 $S{k^*}$ 里面找到最接近样本 。然后利用CycleGAN将合成数据生成target domain style的数据。最后利用生成的数据对ReID网络进行fune-tuning。整体来说pipeline比较简单.
例如，在CycleGAN生成图环节，为了得到更高质量的图像，论文使用了和PTGAN一样的前景mask的思想。不同点在于PTGAN是借助于语义分割网络得到一个行人前景的mask，本文是直接使用了一个2D高斯核作为mask