Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

機械学習による類似画像検索

デモの使い方

フォームの中にニコニコ静画のIDを入れて、"タグをつける"ボタンを押すと、そのIDのイラストと似た特徴のあるイラストが並べられます。キャラクターや作品の特徴を捉えるように学習しているため、髪型、髪色や服装などの、そのキャラクターを特徴づける部分が似ているイラストが見つかると思います。

技術デモ

|

検索結果

    解説

    このデモでやっていること

    このデモでは、タグ予想のために学習されたニューラルネットの中間層の特徴が類似しているものを検索しています。400次元の"タグ"という出力になる前の、4096次元の特徴を利用しています。 画像とタグの中間的な情報を用いることで、タグになる以前の、髪色や長さの程度、服装の差異、デフォルメの度合いなどの特徴を捉えることを狙っています。

    この技術の応用先

    この技術は、まず、"自分の好みの特徴"に近いイラストを探すという、レコメンドとしての活用が考えられます。 また、類似画像同士を集めてクラスタが作れるので、画像から新たなカテゴリを発見する、という使い方もできます。