意味理解Semantic Analysis
動画像のインデキシング(MPEG7)等。
動画像データの整理や認識、検索を可能にする技術について研究を行っています。また、スポーツ映像の解析についても取り組んでいます。
映像のシーン分割
DVDなどの映像では、あらかじめチャプターを設定することで効率良く映像を視聴することが可能となります。そのため、映像から同一の内容や話題を持つまとまりを自動で検出する技術は、映像の効率的な視聴において非常に重要です。我々は、映像中における画像や音の特徴に注目して、映像をシーンと呼ばれるまとまりに分割する技術について研究しています。
http://ladon.ist.hokudai.ac.jp/wp/wp-content/themes/dynamics/movie/semanticanalysis/segmentation.flv
映像意味理解のためのスポーツ映像解析
サッカーやバレーボールなどのスポーツ映像は世界中で視聴されています。このため、これまでに得点の場面やファウルの場面などにインデックスを付与する研究や選手とボールの位置を推定する研究などが行われてきました。しかしながら、従来の研究では、我々がスポーツ映像を視聴する際、映像の内容を理解するために非常に重要な要素となっている知識や経験に基づいて獲得する情報を得ることは困難となります。また、視聴者は得点の場面や選手位置でなく、チームの優勢度や重要選手、パスコース、戦術に興味を持つこともあります。そこで、我々はスポーツ競技の特性やルール、推定された選手やボール位置に基づいてチームの優勢度や重要選手、パスコース、戦術などの推定を行っています。
http://ladon.ist.hokudai.ac.jp/wp/wp-content/themes/dynamics/movie/semanticanalysis/understanding.flv
音楽信号における和音推定
音楽信号の意味理解において和音は重要な要素であり、高精度に推定する必要があります。そのため、短音の推定に基づき和音を推定する研究が行われてきました。 しかし、従来の研究では多数の短音が同時に存在する場合には十分な精度が得られませんでした。そのため、従来の問題を解決するために和音の構成に注目することで、音楽信号中に存在する長和音及び短和音を推定する研究を行っています。
http://ladon.ist.hokudai.ac.jp/wp/wp-content/themes/dynamics/movie/semanticanalysis/signal.flv
映像インデキシング
TV番組や映画などの映像から見たい場面を検索するためには、あらかじめ映像を内容に基づいた時間単位に分割し、それらの内容を表すインデックスを付加する必要があります。このような技術の一つとして、我々は映像中におけるオーディオ信号に注目してインデキシングを行う技術を研究しています。
http://ladon.ist.hokudai.ac.jp/wp/wp-content/themes/dynamics/movie/semanticanalysis/audiovisualindexing.flv
画像からのオブジェクトの抽出
人間の感覚に合致した画像検索を行うために、画像の持つ意味内容を解析する研究が行われています。例えば、撮像されている物体を抽出することで、対象物体に基づいた画像の提示が可能となります。そこで我々は、特定の対象物体を含む画像から得られる画像特徴の類似性に注目することで、対象物体の抽出を可能としています。
