動画キーフレーム物語生成タスクの提案とデータセットの構築

Abstract

動画の自動要約は,開発者やエンドユーザーが動画の内容を確認するためのコストを軽減するための重要な技術の一つである.また,非常に多くの消費者が生成した動画の中から必要な動画のみを取得するための動画検索の手がかりとしても機能する.本論文では,特に動画の要約タスク(動画キーフレーム物語生成と呼ぶ)に焦点を当てている.このタスクでは,あらかじめ定義された数のキーフレームを抽出すると同時に,抽出された一連のキーフレームの説明文を生成することが要求される.最初に,この新しいタスクの定義を紹介する.また,人間が注釈を付けたキーフレームや説明文と比較して,キーフレームのマッチングと説明文の品質の両方の観点から,タスクの性能を評価するための2つの適切な評価尺度を定義する.次に,動画キーフレーム物語生成タスクの訓練と評価のために構築されたデータセットを紹介する.

Publication
第35回人工知能学会全国大会予稿集
Date
Links