フォームの中にニコニコ静画のIDを入れて、"検索"ボタンを押すと、そのIDのイラストと似た特徴のあるイラストを閲覧できるようなデモでした。 キャラクターや作品の特徴を捉えるように学習しているため、髪型、髪色や服装などの、そのキャラクターを特徴づける部分が似ているイラストが見つけられます。
このデモでは、タグ予想のために学習されたニューラルネットの中間層の特徴が類似しているものを検索しています。 400次元の"タグ"という出力になる前の、4096次元の特徴を利用しています。 画像とタグの中間的な情報を用いることで、タグになる以前の、髪色や長さの程度、服装の差異、デフォルメの度合いなどの特徴を捉えることを狙っています。
この技術は、まず、"自分の好みの特徴"に近いイラストを探すという、レコメンドとしての活用が考えられます。 また、類似画像同士を集めてクラスタが作れるので、画像から新たなカテゴリを発見する、という使い方もできます。
