Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

セマンティックモーフィング

デモの使い方

左と右のフォームの中にニコニコ静画のIDを入れて、"モーフィング"ボタンを押すと、左のイラストに類似しているものから、中間のもの、右のイラストに類似しているもの、と徐々に変化する5つの画像が表示されます。 "左/右を他の画像に"のボタンを押すと、他方の画像は固定されたまま、新たなペアをランダムに選ぶことが出来ます。

面白い例では、例えば金髪と黒髪の組み合わせだと50%のところに茶髪が出力されたり、夕焼けのイラストとキャラクターの組み合わせだと、夕焼けをバックにしたキャラクターがでたりします。なるべく特徴が違う絵の組み合わせだと、中間画像に驚きがあるかもしれません。

技術デモ

セマンティックモーフィング結果

    10% 25% 50% 75% 90%

    解説

    このデモでやっていること

    このデモでは、タグ予想のために学習されたニューラルネットの中間層の特徴が類似しているものを検索しています。400次元の"タグ"という出力になる前の、4096次元の特徴を利用しています。 4096次元の空間の中でのベクトルとしてこの特徴を扱った時に、足し算・引き算をしてみよう、ということが考えられます。このデモでは左のイラストから取り出した特徴ベクトルと右のイラストから取り出した特徴ベクトルの重み付き和を計算することで中間画像の中間特徴ベクトルとし、その中間特徴ベクトルに最も近い画像を検索することでこのような表示としています。 このデモは[1]の論文を参考にして制作しました。

    参考文献

    1. Illustration2Vec: A Semantic Vector Representation of Illustrations, M. Saito, and Y. Matsui, SIGGRAPH Asia 2015