当研究室の論文が情報処理学会論文誌に採録されました。

◼︎書誌情報
山本裕樹, 鈴木雅大, 落合桂一, 松尾豊: Bayesian Neural Newtorkによる景気テキストの不確実性評価と景気指標の開発, 情報処理学会論文誌 (2023)
◼︎概要
近年,ニュースやソーシャルメディアなどのテキストを深層学習モデルで解析して,人々の景況感を予測しようという試みが行われている.既存の研究では景気が良い/悪いといった景気の方向性に着目しているが,景気とは本来,不確かなものであり,テキストの書き手の景況感も中心の周りに広がった分布で評価すべきと考えられる.実際,テキストには景気に良い面と悪い面が併記されたり,先行きの不確実性を強調したりするなど,人間が読んでも書き手の景況感が単純に判断できないものも多い.このような書き手の景況感が不確実なテキストを除くことで,より確信的な景況感を持った意見だけを集めて景況感を評価することが可能となり,マクロな景況感の推定精度向上が期待される.本研究ではBayesian Neural Network(BNN)を用いることで景気テキストの不確実性を評価し,それを使って景況感評価の精度を高めることを提案する.実験ではまずBNNによって景気センチメント推定の精度が向上することを示した.次に,不確実性の高いサンプルを除いてセンチメントを集計することで,より精度の高い景気指標となることが確認できた.最後に,BNNで不確実性が高まるテキストの特徴やその時期について考察した.その結果,得られた不確実性と経済の不確実性指標として用いられている Economic Policy Uncertainty(EPU) 指数との統計的に有意な相関を確認できた.

当研究室の論文が電子情報通信学会和文論文誌Dに採録されました。

◼︎書誌情報
蔭山智, 鈴木雅大, 落合桂一, 松尾豊: 顔の角度情報を用いたDeepFake動画の検出手法の提案, 電子情報通信学会和文論文誌D (2023)
◼︎概要
近年,GAN や VAE のような深層学習を用いた画像生成手法により,実際には存在しない高精細な人物や風景の画像を生成することができるようになっている.またそのような画像の生成手法を応用することで,任意の画像の変換を行うこともできるようになっている.こうした技術を応用し,動画内の顔画像を変換することで,現実と区別がつかない Fake 動画(DeepFake 動画)を生成する事ができる.顔画像の操作によって生成された Fake 動画はニュースサイトやソーシャルネットワークで広がり,政治的に利用されたりポルノとして利用されることが社会的な問題となっている.そのため,ある動画が人為的に生成された FAKE 動画かどうかを検知する手法の開発は重要である.既存研究では動画内の全フレームにおいて生成が失敗していないことを前提に検知手法が提案されているが,実際の Fake 動画では顔が真横を向いているシーンでは生成に失敗している.本提案では当該事象に着目し,新たな観点である顔の角度情報の活用を提案する.本提案手法により,AUC にして最大で 3.4% の精度向上が図れた.

当研究室の論文が情報処理学会論文誌に採録されました。

◼︎書誌情報
山本裕樹, 鈴木雅大, 落合桂一, 松尾豊: 産業間の取引構造を用いた深層学習モデルによる生産指数の予測, 情報処理学会論文誌 (2022)
◼︎概要
多くの投資家にとって金融機関や中央銀行,政府から出される金融・経済レポートを読むのは骨の折れる作業である.本稿では自然言語処理を用いて,金融経済に関する文書から自動的に景況感を読み取り指数化(景気センチメント)する手法を提案する.投資家はこの指数によって,文書の全体的な景況感を即座に読み取ることが可能となる.本手法の特徴は,景気センチメントを推定するモデルに深層ニューラルネットワークの一手法であるLSTMを用いた点と,これを学習するために必要な教師データとして景気ウォッチャー調査データを用いた点にある.手法の有効性を示すために,政府の発行する月例経済報告と日本銀行が発行する金融経済月報をそれぞれ指数化して日経平均株価と比較したところ,既存の経済指標と比較して高い相関があることが確認された.本稿で提案した手法は既に実務でも応用が進み,企業や政府がSNSや地域経済レポートを指数化して公表される等の活用が為されている.

Our paper was accepted for ICLR 2023

① ■書誌情報 Akihiro Nakano, Masahiro Suzuki, Yutaka Matsuo. “Interaction-Based Disentanglement of Entities for Object-Centric World Models”, International Conference on Learning Representations (ICLR 2023) ■概要 Perceiving the world compositionally in terms of space and time is essential to understanding object dynamics and solving downstream tasks. Object-centric learning using generative models has improved in its ability to…

当研究室の論文が英文誌Pattern Recognition Lettersに採録されました。

当研究室の論文が英文誌Pattern Recognition Lettersに採録されました。 ■書誌情報 Bo Yang, Jianming Wu, Kazushi Ikeda, Gen Hattori, Masaru Sugano, Yusuke Iwasawa, Yutaka Matsuo. “Deep Learning Pipeline for Spotting Macro- and Micro-expressions in Long Video Sequences Based on Action Units and Optical Flow, In Press, Journal Pre-proof (Dec. 2022). https://doi.org/10.1016/j.patrec.2022.12.001 ■概要 This paper is an extension of our previously published ACM…

「世界モデル」とは何か? 知能の実現に向けて、松尾研が研究を推進する理由。

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. 松尾研では「知能を創る」というビジョンを掲げ、研究を進めています。 本記事では知能を創る上で重要な研究テーマとなる「世界モデル」について、松尾研の特任助教である鈴木雅大さんにお伺いしました。 (鈴木さんのインタビューは、前・後編の2回でお届けいたします。後編はこちら)   世界を「直感的」に理解する世界モデルは、真の知能の実現において必要不可欠。 ー「世界モデル」の説明をお聞きする前に、なぜ松尾研は「世界モデル」の研究を推進しているかを教えてください。 松尾研では「知能を創る」というビジョンを掲げており、世界モデルが真の知能の実現において必要不可欠だからです。 世界モデルについては後ほど詳しくご説明しますが、「外界(世界)から得られる観測情報に基づき外界の構造を学習によって獲得するモデル」を指します。 我々は、世界モデルが知能のベースにあって、その上に様々な知的な機能が実現できると考えています。 これは松尾先生が使っていた言葉ですが、世界モデルは「子供の知能」にあたります。 つまり、親から教えられなくても、外界と相互作用して世界がどういうものかを「直感的」に理解するのです。 これができて、ようやく我々のような「大人の知能」、すなわち数学の問題を解いたり片付けをしたりといった高度な知的行動を実現する人工知能を作り始めることができます。 これまでの知能研究を振り返ると、古典的な人工知能(古き良き人工知能(Good Old Fashioned AI;GOFAI)とも言われます)では、 最初から探索や推論といった高度な「大人の知能(賢い知能)」を実現しようとしていました。 それがなぜ失敗したかというと、これらの知能が「世界」について「無知」だったからです。 そのため、計算機上では非常にうまくいったアルゴリズムも、現実環境では全く動かないということがよくありました。 計算機上だけで動く知能でよければこれで十分かもしれませんが、我々の現実世界で動作し、我々をサポートしてくれるような人工知能を実現するためには、 まず世界について自分なりに理解する、すなわち世界モデルを獲得する必要があるのです。       「予測」と「推論」により、効率的な制御学習が可能に。 ー世界モデルによって何ができるようになるか、詳しく教えてください。 先述の通り、世界モデルは「外界(世界)から得られる観測情報に基づき外界の構造を学習によって獲得するモデル」です。 なお、ここでの観測とは、画像をはじめ、音声、文書など外界から得られる様々な種類の情報のことです。これらを学習することで大規模な外界のモデルを作るというのが世界モデルの重要な点です。 世界モデルを持つことによって、大きく分けて「予測」と「推論」の2つが実現できます。 1つ目の予測とは、現在の観測から将来や未知の観測を予測することです。 例)グラスが地面に叩きつけられると割れてしまうと「予測」する  …

Our paper was accepted for Transactions of the Japanese Society for Artificial Intelligence : AI.

Our paper was accepted for Transactions of the Japanese Society for Artificial Intelligence : AI.   ◼︎書誌情報 張鑫,松嶋達也,松尾豊,岩澤有祐: M3IL: Multi-Modal Meta-Imitation Learning, 人工知能学会論文誌, 第38巻2号 J-STAGE(2022) ◼︎概要 Imitation Learning(IL) is anticipated to achieve intelligent robots since it allows the user to teach the various robot tasks easily.In particular, Few-Shot Imitation Learning(FSIL) aims to infer and adapt…

Our paper was accepted for New Generation Computing.

Our paper was accepted for New Generation Computing.   ■書誌情報 Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo. “Robustifying Vision Transformer Without Retraining From Scratch Using Attention Based Test-Time Adaptation”, New generation computing. ■概要 Vision Transformer (ViT) is becoming more and more popular in the field of image processing. This study aims to improve the robustness against…

Our paper was accepted for Pattern Recognition Letters

Our paper was accepted for Pattern Recognition Letters   ■書誌情報 Bo Yang, Jianming Wu, Kazushi Ikeda, Gen Hattori, Masaru Sugano, Yusuke Iwasawa, Yutaka Matsuo. “Face-mask-aware Facial Expression Recognition based on Face Parsing and Vision Transformer”, Pattern Recognition Letters, In Press, Pre-proof (2022). https://doi.org/10.1016/j.patrec.2022.11.004 ■概要 As wearing face masks is becoming an embedded practice due to the…

Our paper was accepted for Advanced Robotics.

Our paper was accepted for Advanced Robotics 2021年9月に実施された,家庭環境でのサービスロボットに関する世界的な競技会WRS 2020 Partner Robot Challengeにおいて,当研究室発のチームが準優勝を収めた際の研究開発をまとめています. ■書誌情報 Tatsuya Matsushima, Yuki Noguchi, Jumpei Arima, Toshiki Aoki, Yuki Okita, Yuya Ikeda, Koki Ishimoto, Shohei Taniguchi, Yuki Yamashita, Shoichi Seto, Shixiang Shane Gu, Yusuke Iwasawa, Yutaka Matsuo. “World robot challenge 2020 – partner robot: a data-driven approach for room tidying with mobile…