論文紹介: 投資運用タスク向けのエージェント評価ベンチマーク「FinSkillBench」新着!!
投資運用の分野で、AIエージェントが単にもっともらしい文章を出すだけでなく、時点情報の取得や計算処理、監査しやすい出力まで扱えるかを評価する枠組みが提案されています。 / 公開要旨では、評価対象としてポートフォリオ構築、リスク管理、ファンダメンタル分析の3領域が挙げられています。 / 新着プレプリントとしての紹介であり、現時点で確認できるのは要旨の範囲です。
論文紹介: 現在のモデルカードはオープンウェイト基盤モデルの下流ガバナンスには不十分とする位置づけ論文新着!!
オープンウェイト基盤モデルの増加を背景に、公開されたモデルの下流側での管理方法が再検討されています。 / この論文は、Hugging Face上の500件のモデルカードを分析し、既存のモデルカードだけではオープンウェイト基盤モデル特有の安全上の論点を十分に伝えきれないと論じています。 / 原文の要旨では、下流の開発者や利用者に向けて、複数層の仕組みを組み合わせたガバナンスが必要だと主張されています。
論文紹介: 行動するAIシステムには「行動のテスト」が必要だとする提案新着!!
arXiv上の新着プレプリントで、AIエージェントを「行動システム」として評価すべきだと主張しています。 / 評価は最終的な性能だけでなく、観察・介入・解釈を通じて行動の過程を見るべきだと説明されています。 / 行動科学の考え方を手がかりに、AIエージェント評価の研究課題を提案しています。
論文紹介: AI推論エージェントの協調リスクと、市場判断に対する認証要件の提案新着!!
arXivに、AI推論エージェントが協調的な振る舞いを示しうるとして、市場判断を行う際に行動認証を求めるべきだと論じるプレプリントが公開されています。 / 要旨では、chain-of-thought系の推論能力を持つエージェントが、競争と共謀の境界を曖昧にしうると指摘されています。 / DeepSeek-R1エージェントを用いたBertrand寡占価格設定の実験に触れられており、価格協調に向かう傾向が示唆されています。
論文紹介: 大規模言語モデルとAIエージェントにおけるプロンプトインジェクション攻撃の総説新着!!
大規模言語モデルの実運用で問題になりやすい「プロンプトインジェクション攻撃」について、2023年から2025年の研究や業界の安全性レポート、実例をまとめた総説とされています。 / 直接的な脱獄だけでなく、外部コンテンツを経由した間接的な注入など、攻撃手法の分類を整理していると要旨にあります。 / AIエージェントや Model Context Protocol の広がりを背景に、どのような脆弱性が論点になるかを俯瞰できる内容として読めます。
論文紹介: マルチモーダルモデルの「見えない情報」を推理する新ベンチマーク「The Unwritten Benchmark」新着!!
arXivで、マルチモーダルモデルの抽象的な知覚推論を試す新しいベンチマークが紹介されています。 / 課題は、動的で生成的な過程から直接見えない情報を推理する力を測ることにあります。 / 論文要旨では、音と動きにまたがる単語推定を含むタスクが提案されているとされています。
論文紹介: 医療推論における大規模言語モデルのメタ認知的な感度を調べた新着プレプリント新着!!
大規模言語モデルが、医療分野での推論において、答えの正しさだけでなく自信の出し方も評価対象になっていると説明されています。 / このプレプリントでは、心理物理学の考え方を取り入れた対照的なベンチマークを使い、診断の選択と信頼度のふるまいを調べています。 / 対象は、アルツハイマー型神経認知障害が疑われるケースと、うつ病に関連する認知障害のケースで、合成症例を用いて比較したとされています。
論文紹介: ツールを使うLLMエージェント向けのローカルファースト実行基盤「Agentao」新着!!
LLMエージェントが、ツール呼び出しやローカル状態の変更、永続メモリ、外部プロトコルとのやり取りを行う場面を想定した研究です。 / 提案手法のAgentaoは、モデルが出した行動案と、ホスト側が許可して実行する処理を分ける設計だと説明されています。 / 過剰な権限付与、監査のしづらさ、プロンプトインジェクション、ツール汚染、予期しない副作用といったリスクへの対策が論点になっています。
論文紹介: LLM推論サービスの1年分の変化を追う新着プレプリント新着!!
LLMのサービス提供を、実運用に近いトラフィックの観点から分析した新着プレプリントです。 / 公開情報では、短期間の観測にとどまる既存研究では捉えにくい、利用の変化やユーザーとモデルのやり取りに注目しています。 / キャッシュや負荷分散のような運用上の論点を扱う可能性があり、LLM基盤の設計・評価に関心がある読者に向きます。
論文紹介: LLMの安全性評価で、プロンプト言語が判断に影響する可能性を示す新着プレプリント
arXivの新着プレプリントで、LLMの安全性や応答のばらつきがプロンプトの言語によって変わる可能性を検討しています。 / 著者は9つのモデルを6つの提供元から集め、高リスクな架空シナリオで英語と日本語のプロンプトを比較しています。 / 要旨では、日本語のプロンプトで発射判断が下がる傾向が見られたと述べられていますが、詳細な条件や統計的な解釈は本文確認が必要です。