動画

概要

本研究では，白黒漫画の自動着色システム『Comicolorization』を提案する．提案手法では，白黒漫画と参照画像を入力として，カラー漫画を生成する．入力は，単一の漫画ページではなく，漫画全ページを対象とし，白黒漫画と共に参照画像を入力として用いることで，参照画像中の色を用いて，全てのページで同じキャラクタに対し，一貫した着色を行う．本手法では，参照画像から得た色彩特徴量と共に，白黒キャラクタ画像とカラーキャラクタ画像のペアを畳み込みニューラルネットワークで学習する．色彩特徴量の効果を促進するために学習時の損失にadversarial lossを加えている．また，ユーザーは参照画像に加え，カラードットを入力することで，色付け結果をインタラクティブに変更出来る．学習時に，カラーキャラクタ画像からランダムに数ピクセルだけ白黒キャラクタ画像に与えて学習することで，カラードットを入力できるようになっている．

関連する自動着色研究

• ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け（2016年7月） 深い畳み込みニューラルネットワークを利用し，自然画像の自動着色を行った初めての手法．入力白黒画像のラベルも同時に推定することにより，全自動で，自然なカラー自然画像を得ることが出来る．本研究のネットワークもこの手法のネットワークを元に改良している．デモページ が公開されている．
• Scribbler: Controlling Deep Image Synthesis with Sketch and Color（2016年12月） スケッチに着目した自動着色研究．本研究と同様に，学習時の損失にadversarial lossを加えている．着色のヒントとしてユーザーがカラーストロークを与えることが可能．
• PaintsChainer -線画自動着色サービス-（2016年12月） 投稿した線画やweb上でその場で描いた線画を自動着色するサービス．上記のScribblerと同様に，学習時の損失にadversarial lossを加えている．カラーストロークも入力することが可能．
• Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN（2017年1月） イラストに他のイラストのスタイルを転写する研究．転写の手法として参照画像にクラス確率を近づけるようなadversarial lossを加えて学習している．着色結果は参照画像の色使いも保ったものとなっている．デモページ が公開されている．
• cGAN-based Manga Colorization Using a Single Training Image（2017年6月） 漫画に着目した自動着色研究．一枚の参照画像から学習することで，参照画像の色使いも転写することができる．

bibtex

@inproceedings{chie2017,
  author = {Chie Furusawa, Kazuyuki Hiroshiba, Keisuke Ogaki, Yuri Odagiri},
  booktitle = {SIGGRAPH Asia Technical Briefs},
  title = {Comicolorization: Semi-automatic Manga Colorization},
  year = {2017}
}

発表リスト

• “色彩特徴を入力に用いた畳み込みニューラルネットワークによる漫画の自動着色”, DEIM 2017（最優秀インタラクティブ賞）
• “Comicolorization: Semi-automatic Manga Colorization”, SIGGRAPH Asia 2017 Technical Brief