Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

色彩特徴を入力に用いた畳み込みニューラルネットワークによる漫画の自動着色

Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)による色彩特徴を入力に用いた畳み込みニューラルネットワークによる漫画の自動着色

動画

概要

本研究では,白黒漫画の自動着色システム『Comicolorization』を提案する. 提案手法では,白黒漫画と参照画像を入力として,カラー漫画を生成する. 入力は,単一の漫画ページではなく,漫画全ページを対象とし,白黒漫画と共に参照画像を入力として用いることで, 参照画像中の色を用いて,全てのページで同じキャラクタに対し,一貫した着色を行う. 本手法では,参照画像から得た色彩特徴量と共に, 白黒キャラクタ画像とカラーキャラクタ画像のペアを畳み込みニューラルネットワークで学習する. 色彩特徴量の効果を促進するために学習時の損失にadversarial lossを加えている. また,ユーザーは参照画像に加え,カラードットを入力することで,色付け結果をインタラクティブに変更出来る. 学習時に,カラーキャラクタ画像からランダムに数ピクセルだけ白黒キャラクタ画像に与えて学習することで, カラードットを入力できるようになっている.

関連する自動着色研究

bibtex

@inproceedings{chie2017,
  author = {Chie Furusawa, Kazuyuki Hiroshiba, Keisuke Ogaki, Yuri Odagiri},
  booktitle = {SIGGRAPH Asia Technical Briefs},
  title = {Comicolorization: Semi-automatic Manga Colorization},
  year = {2017}
}

発表リスト