論文紹介: CaLR: Causal Latent Revision for Robust Diffusion Reasoning
arXivで、拡散型言語モデルの推論を対象にした新しい枠組み「CaLR」が公開されています。 / 要旨では、自己回帰モデルの局所的な貪欲さと、拡散型言語モデルが持つ因果構造の弱さの両方を補う狙いが示されています。 / CaLRは、専門モデルから得た因果トポロジー行列と暗黙的微分を使い、推論途中の“thought revision”を行うと説明されています。
論文紹介: Attention-Aware Routing: Mixture-of-Expertsのルーティングに注意機構の情報を組み合わせる提案
Mixture-of-Experts（MoE）型の言語モデルで、どの専門家を選ぶかを決めるルーターに注意重みの情報を加える手法が提案されています。 / 提案手法 Attention-Aware Routing（AAR）は、スライディングウィンドウ内の注意重みから時間的・周波数的な特徴を取り出し、ルーターに使うと説明されています。 / 本文要旨では、ベースのTransformer本体を固定し、ルーティング部分だけを学習しているため、ルーティングそのものの効果を切り分けやすい設計だと読めます。
論文紹介: RBS-Attention: 長文コンテキスト向けの疎な事前処理手法
長文コンテキストの大規模言語モデルでは、生成前の事前処理段階で計算負荷が大きくなりやすいと説明されています。 / この論文では、ブロック単位で重要な部分を選ぶ疎な事前処理の方法として RBS-Attention が提案されています。 / 提案手法は学習不要で、平均的な関連度を見る枝と、見落としを補う枝を組み合わせる点が特徴とされています。
OpenAI、働き方におけるAI活用の新たな傾向を示す調査を公開
OpenAIが経済研究の新しい内容として、労働者がAIを従来の役割を超えて使う様子を紹介しています。 / AIによって、仕事の中で新しい活動が繰り返し行われるようになる点が示されています。 / 公開情報の範囲では、特定の職種や業界ごとの詳細は要旨からはまだ多く分かりません。
OpenAI、オーストラリアの若者向け安全設計の指針を紹介
OpenAIが、若年層向けのより安全なAI体験を目指す「Australian Youth Safety Blueprint」を公開したとしています。 / 資料では、6つの柱からなるロードマップとして整理されていると説明されています。 / 若者を守りつつ、AIを使いやすくすることを目指す内容と受け取れます。
Skild AIが単一動画から新しい作業を学ぶロボット基盤モデル「S1」を紹介 NVIDIAが支援を強調
NVIDIA Blogで、Skild AIのロボット基盤モデル「S1」が紹介されています。 / S1は、単一の動画デモから、これまで見たことのない長い手順の作業を学べるよう設計されていると説明されています。 / 公開情報では、学習済み重みを更新したり、作業ごとの追加学習を行ったりせずに、動画を手がかりにタスクを理解して実行する仕組みだとされています。
論文紹介: LLMエージェントの「存在しないツール呼び出し」を扱う新しい測定研究
ツールを使うLLMエージェントが、存在しないツール名を呼び出したり、定義されていない引数を渡したりする問題を扱っています。 / 既存の防御は、適切なツールを選ぶ仕組みや、実在するツールの利用を制限する仕組みが中心で、このタイプの失敗は想定しきれていないと説明されています。 / 著者は、この問題を構造的な見落としとして捉え、測定を通じて整理していると要旨から読み取れます。
論文紹介: AIエージェントはコンピュータアーキテクチャを理解しているのか？
arXivに、AIエージェントがハードウェア設計をどの程度理解しているかを扱うプレプリントが公開されています。 / 要旨では、設計改善が見られても、その改善が本当に機械の理解に基づくのか、単に有効な設定探索に成功しただけなのかは区別しにくいと述べています。 / 既存の評価では、この2つを見分けにくいとして、著者らは別の評価の切り口を提案しているようです。
CooleyがIPO業務でChatGPT Workを活用する「GO Public」を構築したとOpenAIが紹介
OpenAIの公開情報では、法律事務所CooleyがChatGPT Workを使ってIPO業務向けの「GO Public」を構築したと紹介されています。 / 目的は、IPO प्रक्रियाの中で論点を早めに見つけやすくし、弁護士が判断に集中しやすくすることだと説明されています。 / 法務業務における生成AIの活用例として、日本語読者にも関心を持たれやすい事例です。
論文紹介: LLMの文章題解法は4段階に分かれる可能性を示した新着プレプリント
大規模言語モデルが算数の文章題を解く内部処理を、4段階の流れとして説明する研究です。 / 本文に関係ない一文が入ると成績が落ちる現象について、機械的な見方から整理しようとしています。 / 各段階は層の特定の帯域で異なる中間表現を生むと述べられています。