一枚の線画から複数の着色候補を提示する自動着色手法『Generative Probabilistic Image Colorization』を提案する.Diffusion probabilistic model [1] を用いることにより,一枚の線画から複数の着色候補を得ることができる.450枚という比較的少ない画像のみを用いて学習を行ったが,複数の多様な着色候補を得ることができた.また,Diffusion probabilistic modelは線画中で指定したいパーツを別レイヤーとして生成過程に挿入することによりimage completionのように使用することができる.同様に,複数の着色候補を得る方法としてGenerative adversarial network (GAN) [2][3] や、Flow [4][5] を用いる手法もあるため,本論文ではそれらの手法と実験的な比較を行った.
[1] Jonathan Ho, Ajay Jain, and Pieter Abbeel. 2020. "Denoising Diffusion Probabilistic Models", In Advances in Neural Information Processing Systems, Vol. 33., 6840–6851. https://arxiv.org/abs/2006.11239
[2] Xun Huang, Ming-Yu Liu, Serge Belongie, and Jan Kautz. 2018. "Multimodal Unsupervised Image-to-image Translation", In ECCV. https://arxiv.org/abs/1804.04732
[3] Qi Mao, Hsin-Ying Lee, Hung-Yu Tseng, Siwei Ma, and Ming-Hsuan Yang. 2019. "Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis", In IEEE Conference on Computer Vision and Pattern Recognition. https://arxiv.org/abs/1903.05628
[4] Diederik P Kingma and Prafulla Dhariwal. 2018. "Glow: Generative flow with invertible 1x1 convolutions", In Advances in Neural Information Processing Systems. 10215–10224. https://arxiv.org/abs/1807.03039
[5] Lugmayr Andreas, Danelljan Martin, Van Gool Luc, and Timofte Radu. 2020. "SRFlow: Learning the Super-Resolution Space with Normalizing Flow", In ECCV. https://arxiv.org/abs/2006.14200