Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

Diffusion probabilistic modelを用いて一つの線画から複数の着色候補を提示する自動着色手法

Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)が発表、拡散確率モデルを用いて一つの線画から複数の着色候補を提示する自動着色手法

動画

概要

一枚の線画から複数の着色候補を提示する自動着色手法『Generative Probabilistic Image Colorization』を提案する. Diffusion probabilistic model[1]を用いることにより,一枚の線画から複数の着色候補を得ることができる. 450枚という比較的少ない画像のみを用いて学習を行ったが,複数の多様な着色候補を得ることができた. また,Diffusion probabilistic modelは線画中で指定したいパーツを別レイヤーとして生成過程に挿入することによりimage completionのように使用することができる. 同様に,複数の着色候補を得る方法としてGenerative adversarial network (GAN) [2][3]や、Flow[4][5]を用いる手法もあるため,本論文ではそれらの手法と実験的な比較を行った.

関連研究

[1]Jonathan Ho, Ajay Jain, and Pieter Abbeel. 2020. "Denoising Diffusion Probabilistic Models", In Advances in Neural Information Processing Systems, Vol. 33., 6840–6851.

[2] Xun Huang, Ming-Yu Liu, Serge Belongie, and Jan Kautz. 2018. "Multimodal Unsupervised Image-to-image Translation", In ECCV.

[3] Qi Mao, Hsin-Ying Lee, Hung-Yu Tseng, Siwei Ma, and Ming-Hsuan Yang. 2019. "Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis", In IEEE Conference on Computer Vision and Pattern Recognition.

[4] Diederik P Kingma and Prafulla Dhariwal. 2018. "Glow: Generative flow with invertible 1x1 convolutions", In Advances in Neural Information Processing Systems. 10215–10224.

[5] Lugmayr Andreas, Danelljan Martin, Van Gool Luc, and Timofte Radu. 2020. "SRFlow: Learning the Super-Resolution Space with Normalizing Flow", In ECCV.