Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

SIGGRAPH Asia 2018に参加しました~研究振り返り編~

この記事では、SIGGRAPH Asia 2018にて発表された研究のいくつかをまとめたので、紹介します。先日の記事では、SIGGRAPH Asia 2018にてDwango Media Villageが展示した内容や、カンファレンスの様子を紹介しました。

マルチタスクな学習・おもしろ画像変換

SIGGRAPH Asia 2018に投稿されていた論文のうち、個人的に面白そうだと思ったものをまとめました。 3D再構成・顔の変形・深度推定という、既存手法が存在する問題に、新たな知見を加えることでそれぞれの精度を向上する研究は、その精度向上に使われたアイディアは他のタスクでも応用可能な物が多く面白かったです。 会場が東京だったせいもあってか、ポスターセッションでは、日本らしさのある問題を解いているものも多く、その中でも、今回は3Dアニメーションで、日本のセルアニメ風のレンダリング・動きをつけるという研究があったので、それらをまとめました。

半自動着色に関する研究

半自動着色タスクの論文です。 去年のSiggraph Asiaに投稿した論文が引用されていて、気になったので読んでみました。 既存のイラスト着色手法は、色が滲んでしまう問題があります。 この問題を、大雑把に塗るステップ(ドラフト)と、洗練して塗るステップ(改善)に分けることで解決しました。 既存の手法よりきれいに着色できると報告されています。

画風変換に関する研究

この二つの研究は、Image Processingのセッションの研究でしたが、このセッションのほとんどがCycle GANをベースとする研究でした。 研究の動向として、いまだUnpairedな学習方法や、画風変換に関する研究の高い注目度を集めいている印象でした。

強化学習による3Dキャラクターのモーション生成

2018年12月に開かれたCGの学会SIGGRAPH ASIA2018のCharacter Animationのセッションで発表された論文から、3Dキャラクターのモーションを強化学習を使って自動生成する研究二件をまとめました。 キャラクターモーションを手で作成するためには多大な労力が必要となりますが、強化学習を使えばエージェントがシミュレーションを通して動き方を自動的に獲得できます。 ただし、重力などの物理現象がシミュレートされた環境下でバク転や着衣などの複雑かつ長いモーションを学習するのは未だ難しい問題です。 1件目の論文では動的な初期状態サンプリング、もう一方は短いモーションへ分けて学習するというアプローチをとっています。

最後に

Dwango Media Villageでは、SIGGRAPH Asia 2018のほかにも、ニコナレや、github issueにて論文紹介や既発表資料を公開しております。

よろしければご活用ください。

著者

2019/01/17

Chie FURUSAWA

Keisuke OGAKI

Kazuyuki HIROSHIBA

Kazuma SASAKI