AI関連ニュース
Google DeepMind、Geminiによる「agentic video understanding」を紹介新着!!

Google DeepMindの公式ブログで、Geminiを用いた「agentic video understanding」が紹介されています。 / 動画を受動的に見るだけでなく、必要に応じて関連箇所を探し、理解を助ける使い方が示されている可能性があります。 / 現時点で確認できるのはタイトルと公開情報のみで、具体的な手法や評価結果は要確認です。

続きを読む
AI関連ニュース
論文紹介: LLM評価を測るためにRasch測定理論を用いる提案新着!!

arXivの新着プレプリントとして、LLM評価を「測定」の問題として捉え直す研究が公開されています。 / この論文は、LLMがベンチマークで採点される側、他モデルの出力を判断する側、人間の文章を評価する側のいずれにも関わる状況を扱っています。 / 要旨では、従来の評価では評価結果を形づくる要素の役割分担が十分に見えにくく、Rasch measurement theoryがその整理に向いていると説明されています。

続きを読む
AI関連ニュース
論文紹介: 実環境に近い条件で一般的なモバイルアシスタントを評価するベンチマーク GMA新着!!

arXivの新着プレプリントとして、一般的なモバイルアシスタントを評価するためのベンチマーク「GMA」が提案されています。 / 既存の AndroidWorld や MobileWorld などを土台にしつつ、実際のモバイル利用の多様さや複雑さをより反映することを目指していると説明されています。 / 要旨では、オープンソースのプロジェクトを基にした7つのアプリケーションを含むことが示されています。

続きを読む