AI関連ニュース
論文紹介: 依存構造を手がかりにした説明可能なマルチモーダル感情分析

テキストと画像を組み合わせるマルチモーダルな aspect-based sentiment analysis(MABSA)を扱う論文です。 / 従来の分類中心の手法に対し、感情判定と自然言語による説明生成を同時に行う枠組みを提案しています。 / 依存構造木を手がかりにした cue strategy により、aspect ごとの推論を助けると説明されています。

続きを読む
AI関連ニュース
論文紹介: GLACIA — 氷河湖のセグメンテーションに位置関係の推論を組み込む試み

氷河湖の監視に向けて、画像の切り分け(segmentation)だけでなく、自然言語による位置関係の説明も扱う枠組みが提案されています。 / CNNやViT系の既存手法は画素レベルの予測が中心で、高次の場面理解や人が読みやすい推論が不足している、と原文では説明されています。 / GLACIAは、大規模言語モデルとセグメンテーションを組み合わせ、マスクと空間的推論の両方を出力する枠組みだとされています。

続きを読む
AI関連ニュース
論文紹介: DeepSport、スポーツ動画の多様な推論に向けたマルチモーダル大規模言語モデル

スポーツ動画の理解に向けて、複数競技・複数タスクに対応するエンドツーエンド学習型のMLLM「DeepSport」を提案する論文です。 / 論文要旨では、動画から受動的にフレームを読むのではなく、反復的にフレームを抽出して推論する仕組みを採用したとされています。 / 78k件規模のデータセットを、テキストと画像の蒸留を使う3段階の手順で構築したと説明されています。

続きを読む
AI関連ニュース
論文紹介: LLM4Rec: Large Language Models for Multimodal Generative Recommendation with Causal Debiasing

arXiv掲載のプレプリントで、マルチモーダルな生成型レコメンドにLLMを組み合わせる枠組みが提案されています。 / 要旨では、画像やテキストなど複数種類の情報を扱い、バイアス低減や説明生成、適応学習を組み込む点が特徴とされています。 / MovieLens-25M、Amazon-Electronics、Yelp-2023の3ベンチマークで、精度・公平性・多様性の改善が示されたとされています。

続きを読む
AI関連ニュース
論文紹介: 拡散型LLMの推論を報酬なしで導く「RFG」

拡散型LLM(dLLM)の推論を、明示的なプロセス報酬なしで誘導する手法「reward-free guidance(RFG)」を提案する論文です。 / RFGでは、強化学習やSFTで強化されたモデルと参照モデルの対数尤度比を使って、報酬を近似する考え方が示されています。 / 理論的な正当化に加え、数学的推論とコード生成の4つのベンチマークで実験が行われたと要約されています。

続きを読む
AI関連ニュース
論文紹介: 回路設計支援のためのマルチモーダルLLMエージェント「MuaLLM」

arXivのプレプリントとして公開された、回路設計支援向けのマルチモーダルLLMエージェントに関する論文です。 / Hybrid RAGと、回路設計論文を扱う適応型ベクトルデータベースを組み合わせる設計が示されています。 / ReActの流れで、段階的な推論、目標設定、複数段階の情報検索を行う点が特徴とされています。

続きを読む
AI関連ニュース
論文紹介: 胸部X線の対話的推論を目指すマルチモーダルLLM「CX-Mind」

arXivのプレプリントとして、胸部X線(CXR)診断向けのマルチモーダル大規模言語モデル「CX-Mind」が報告されています。 / 原文では、従来の「一回で答える」方式ではなく、思考と回答を交互に進める推論を目指していると説明されています。 / 学習には、708,473枚の画像を含むCX-Setと、臨床レポートで監督された42,828件の高品質な推論データが用いられたとされています。

続きを読む
AI関連ニュース
論文紹介: Graph-MLLM ― マルチモーダル・グラフ学習の評価ベンチマーク

arXiv上のプレプリントとして公開された、マルチモーダル・グラフ学習のベンチマーク論文です。 / MLLMをグラフ学習にどう使うかを、Encoder / Aligner / Predictorの3つの枠組みで整理しています。 / 6つのデータセットを用いて、複数の手法を横断的に評価する点が特徴です。

続きを読む
AI関連ニュース
論文紹介: 大規模言語モデルの時間推論を説明可能にする構造対応フレームワークGETER

arXivのプレプリントとして公開された、LLMの時間推論とその説明可能性を扱う論文です。 / 時間の粒度が異なる課題を広く評価するベンチマークを提案し、説明の妥当性まで見ようとしている点が特徴です。 / 本文要約によると、テキストだけでは納得しやすい説明を出しにくいという観察があり、グラフ構造とテキストを組み合わせるGETERを提案しています。

続きを読む
AI関連ニュース
論文紹介: マルチモーダル大規模言語モデルにおけるRLベース推論のサーベイ

マルチモーダル大規模言語モデル(MLLM)における、強化学習(RL)を使った推論強化の研究動向を整理したサーベイ論文です。 / 抽象では、value-model-free と value-model-based の2つの主要なRLパラダイムを整理し、推論軌跡の最適化やマルチモーダル情報の整合にRLがどう関わるかを扱うとされています。 / ベンチマークデータセット、評価手順、現在の課題、今後の研究方向もまとめていると説明されています。

続きを読む