論文紹介: GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
知識グラフ上の質問応答（KGQA）において、GNNとLLMを組み合わせるRAG型の手法が提案されています。 / GNNで密な部分グラフを推論して候補を取り出し、その経路を自然言語化してLLMに渡す構成だと説明されています。 / 追加のretrieval augmentationにより、KGQA性能をさらに高める工夫も示されています。
論文紹介: 宇宙探査向けの大規模言語モデルベース自律エージェント「LLMSat」
arXivのプレプリントとして、宇宙機の高い自律性を目指すLLMベースの制御システム「LLMSat」が紹介されています。 / 論文は、宇宙機の高レベル制御に大規模言語モデルを使う設計を、システム工学の観点から検討したものです。 / 著者は、Kerbal Space Programのシミュレーション環境で複数の深宇宙ミッション場面を試し、こうしたアーキテクチャの有用性を評価しようとしています。
論文紹介: 大規模言語モデルをグラフマイニングに適用する「MuseGraph」— 複数タスクを一つのモデルで扱う試み
arXivのプレプリントで、カテゴリはcs.CLとcs.AIです。 / LLMとGNNの強みを組み合わせ、複数のグラフタスクとデータセットにまたがる基盤モデルを目指す枠組みが提案されています。 / コンパクトなグラフ記述、Chain-of-Thoughtベースの指示生成、グラフを意識したinstruction tuningが主な工夫として説明されています。
論文紹介: 強化学習と大規模言語モデルの関係を整理する分類体系の提案
arXivに掲載されたプレプリントで、強化学習（RL）と大規模言語モデル（LLM）の組み合わせ研究を整理する論文です。 / 著者らは、RLとLLMの関係を3つの主要クラスに分ける分類体系を提案しています。 / LLMの性能改善にRLを使う「RL4LLM」、RL学習をLLMが支援する「LLM4RL」、両者を共通の計画枠組みに置く「RL+LLM」に整理しています。
論文紹介: シリコンフォトニクスを使った大規模言語モデルとグラフ処理向けの高速化手法
arXiv掲載のプレプリントで、シリコンフォトニクスを用いたハードウェア加速器によるAI計算の高速化を扱っています。 / 対象は、LLMで使われるTransformer系ニューラルネットワークと、グラフデータを処理するGraph Neural Networksです。 / 要旨では、複数の電子系ハードウェア加速器と比べて、少なくとも10.2倍のスループット向上と3.8倍のエネルギー効率改善が示されたとされています。
論文紹介: DocLLM――レイアウトを考慮した文書理解向け生成言語モデル
arXivのプレプリントとして、文書の文字情報に加えてレイアウト情報を扱うDocLLMが公開されています。 / 画像エンコーダーを使わず、主にbounding box情報を用いて空間的な配置を取り込む点が特徴とされています。 / 請求書、契約書、フォームなどの企業文書を対象に、4つの文書理解タスクで微調整され、複数データセットで性能を示したと要約されています。
論文紹介: LLMのフィードバックを使ってロボット操作の強化学習を効率化する手法「Lafite-RL」
ロボット操作の強化学習に、LLMの自然言語フィードバックを組み合わせる枠組みを提案しています。 / 人手の専門家による監督が難しい場面で、LLMを自動的な助言役として使う発想が示されています。 / RLBenchのタスクで、学習効率と成功率がベースラインより改善したと報告されています。
論文紹介: LLMを材料設計に活用するための検索拡張知識グラフとマルチエージェント戦略
arXivのプレプリントで、材料解析・設計・製造にLLMをどう活用できるかを扱っています。 / 著者は、材料分野向けに微調整したモデル MechGPT を使い、分野知識の理解や情報の取り出し方を検討しています。 / 抽象によると、学習済み知識だけでは答えにくい問いに対して、検索拡張とオントロジー知識グラフを組み合わせる方法を提案しています。
論文紹介: LLM-Grounder—大規模言語モデルを用いた3D視覚グラウンディングのゼロショット手法
arXivのプレプリントとして公開された、3D視覚グラウンディングに関する論文です。 / LLMを使って自然言語の質問を分解し、3Dシーン内の対象物を見つける流れが提案されています。 / ラベル付き学習データを使わないゼロショット・オープンボキャブラリ手法で、新しい3Dシーンや任意のテキスト質問への一般化をうたっています。
論文紹介: WizardMath——大規模言語モデルの数学的推論を強化する Reinforced Evol-Instruct
arXivのプレプリントとして公開された、数学推論に特化した大規模言語モデルの研究です。 / 提案手法は、Evol-Instruct系のフィードバックを強化学習で活用するRLEIFにより、数学領域でのChain-of-Thought推論を改善すると説明されています。 / GSM8kとMATHの2つのベンチマークで評価され、オープンソースモデルとの比較や、GPT-3.5-Turbo、Claude 2、Gemini Pro、GPT-4-early-versionとの比較結果が示されています。