Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

セマンティックモーフィング

このデモの公開は終了しました。

デモの内容

左と右のフォームの中にニコニコ静画のIDを入れて、"モーフィング"ボタンを押すと、左のイラストに類似しているものから、中間のもの、右のイラストに類似しているもの、と徐々に変化する5つの画像を閲覧できるようなデモでした。

画像のセマンティックモーフィングの結果一例

特徴が違う絵の組み合わせだと、意外な中間画像になることなどもありました。 面白い例では、例えば金髪と黒髪の組み合わせだと50%のところに茶髪が出力されたり、夕焼けのイラストとキャラクターの組み合わせだと、夕焼けをバックにしたキャラクターがでることもありました。

解説

このデモでやっていること

このデモでは、タグ予想のために学習されたニューラルネットの中間層の特徴が類似しているものを検索しています。400次元の"タグ"という出力になる前の、4096次元の特徴を利用しています。 4096次元の空間の中でのベクトルとしてこの特徴を扱った時に、足し算・引き算をしてみよう、ということが考えられます。このデモでは左のイラストから取り出した特徴ベクトルと右のイラストから取り出した特徴ベクトルの重み付き和を計算することで中間画像の中間特徴ベクトルとし、その中間特徴ベクトルに最も近い画像を検索することでこのような表示としています。 このデモは[1]の論文を参考にして制作しました。

参考文献

  1. Illustration2Vec: A Semantic Vector Representation of Illustrations, M. Saito, and Y. Matsui, SIGGRAPH Asia 2015