Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

タグ情報とコメント密度を用いた画像サムネイル推薦システム

発表スライド

概要

Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)によるタグ情報とコメント密度を用いた画像サムネイル推薦システム(結果一例)
Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)によるタグ情報とコメント密度を用いた画像サムネイル推薦システム(手法概要)

本研究では,動画における魅力的かつ動画に沿った画像サムネイルを推薦するシステムを構築した.動画共有サービスには,動画ごとのフレームの他にコメントなど各フレームへの注目表す指標が存在する.フレームごとのコメント密度の高い時間帯は,動画中で盛り上がっている箇所である.コメント密度の高いフレームは最も動画の内容を説明していると仮定し,そのフレームは魅力的であると定義した.この場合,フレームごとにコメント密度が付与されていない動画は,判断することができない.本手法では,600,000枚のフレームとコメント密度を用いて,フレームからコメント密度を予測するコメント密度推定モデルを構築した.また,動画のタグを識別するためにマルチタグ予測モデルを構築した.この二つのモデルを用いることによって,各フレームにおけるコメント密度とタグを予測できるようになった.全フレームに対してコメント密度及びタグスコアを求める.そして指定したタグにおいて各フレームのタグスコアとコメント密度の積のスコアが,高いフレームが魅力的なフレームとして推薦される.

この研究について

ドワンゴメディアヴィレッジでインターンをしていました山口(@wktk0)がおこないました.半年間強の間,多くの方に協力していただき無事終えることが出来ました.インターンを通して,初歩的なことから応用まで非常に幅広く多くのこと学ぶ日々でした.特に自分の興味ある動画ドメインに携われたことが非常に嬉しかったです.ありがとうございました.

発表リスト