Googleの「ScreenAI」はどうなった？｜画面を読むAIとUXの2026年

Google ScreenAIとは何だったのか

ScreenAIは、Googleの研究チームが2024年に発表した、画面を理解するためのAIモデルです。論文は2024年2月に公開され、3月19日にGoogle Researchのブログで紹介されました。スマホアプリやWebページの画面（UI）と、グラフや図解のような「インフォグラフィック」の両方を読み取れることが特徴でした。

研究ブログと論文によると、ScreenAIはおもに次のことができました。

1. 画面の要素を書き出す。ボタン、文字、画像などの種類・位置・説明をテキストにする（スクリーン・アノテーション）。
2. 画面について質問に答える。スクリーンショットを見せて「この店の名前は？」と聞くと、画面の文字を読んで答える。
3. 操作の指示を、画面上の動作に変える。「リストの最初の項目を押して」のような指示を、どこを押すかに置き換える。
4. 画面を短く要約する。表示内容を1〜2文にまとめる。

しくみの面では、Googleの画像と言葉を扱うモデル「PaLI」をもとに、縦長・横長の画面をそのままの比率で扱う工夫（pix2structの分割方法）を組み合わせていました。学習データは、画面の要素を書き出したテキストを大規模言語モデル（LLM）に渡し、質問応答・操作・要約の練習問題を大量に作らせる方法で用意したと説明されています。

あわせて「Screen Annotation」「ScreenQA Short」「Complex ScreenQA」の3つのデータセットが公開され、いまもGitHubで見ることができます。論文は国際会議IJCAI 2024の論文集にも載りました。

ヒカリちゃんのまとめScreenAIは、画面を人のように「見て読む」ための研究モデルでした。私たちが触れる製品ではなく、研究の成果とデータが公開されたものだったんですね。

画面を読むAI、2026年10月までの年表

ScreenAIという名前の製品は、その後出てきませんでした。一方で、「画面を見て理解し、操作するAI」はGoogleでも他社でも、製品として次々に登場しています。主な出来事を並べます。

ヒカリちゃんのまとめScreenAIという名前は製品になりませんでしたが、画面を読むAIはこの2年で、話しかける・調べる・操作するところまで広がりました。そしてWebサイトの側が、AIに読まれる準備をする段階に入っています。

いま使える「画面を読むAI」と始め方

2024年の記事では「公開までしばらく待つ必要がある」と書きました。ScreenAIそのものではありませんが、画面を見て答えてくれるAIは、いまは日本でも使えます。仕事で試しやすいものを3つ挙げます。

Gemini Liveで画面を見せる手順（Android）

Geminiアプリのヘルプ（2026年10月26日確認）では、次のように案内されています。

1. Geminiアプリを開き、Liveを始める。Googleアカウントでログインしておきます。
2. Live画面の画面共有アイコンを押す。または「OK Google」と話しかけて「Live と画面を共有する」を選びます。Gemini Liveの通知をオンにしておく必要があります。
3. 見せたいアプリやページに切り替えて、声で質問する。「この画面の申込ボタンはどこ？」のように聞きます。
4. 終わったら共有を止める。Liveを一時停止したり画面をロックしたりすると、画面共有は止まります。再開は手動です。

iPhoneでも、Geminiアプリから画面共有ができるようになったと2025年5月に報じられています。手順はiPhone向けのヘルプで確かめてください。

Gemini in Chromeの始め方や、タブを並べて比べる使い方は、Gemini in Chromeの記事にまとめています。Chromeが代わりにページを操作する自動ブラウジングは、2026年10月26日に確認した時点でも、米国在住・英語設定・Google AI ProかUltraの契約が条件で、日本からは使えません。

ヒカリちゃんのまとめスマホならGemini Liveの画面共有、パソコンならGemini in Chromeから試すのが近道です。どちらも有料プランに入らなくても始められます。

ScreenAIの2024年の記事の答え合わせ

2024年4月の記事で書いたことを、いまの情報と照らし合わせます。

いちばんの見落としは、「AIが画面を読むなら、サイトはどう作るべきか」を書かなかったことです。

2024年の記事は、ScreenAIのしくみの説明が中心でした。題名でUXを問いかけながら、Webサイトやアプリを作る人が何をすればいいかには触れていません。いまはChromeの開発者向け資料が、まさにその答えを出し始めています。次の章で紹介します。

ヒカリちゃんのまとめScreenAIの説明は当時として正確でしたが、「公開を待つ」という見通しは外れました。画面を読むAIは、別の名前でもう私たちの手元に来ています。

UX・Web担当者がいまできること

Googleの開発者向けサイトweb.devの記事によると、AIエージェントはおもに3つの方法でページを読み取ります。スクリーンショットを画像として見る方法、HTMLの構造を読む方法、ブラウザが支援技術向けに作る「アクセシビリティツリー」を読む方法です。さらに、サイトが用意したWebMCPのツールを使う方法も、提案中の新しい経路として紹介されています。いまのエージェントは、これらを組み合わせて使うと説明されています。

ScreenAIのように画像だけで画面を読む方法は、遅くて手間がかかるため、補助的な手段とされています。Chromeの開発者ブログ（2026年6月22日）は、アクセシビリティツリーを「AIエージェントがページを理解する主な方法」と書いています。つまり、目の不自由な人のために整えてきた作りが、そのままAIにも効くということです。

今日からできる5つのこと

1. Lighthouseの「エージェントによるブラウジング」を実行する。Chrome 150以降のLighthouseで、このカテゴリを選んで自社のページを調べます。アクセシビリティ、レイアウトの安定性、llms.txt、WebMCPの項目があり、0〜100点ではなく「何項目を満たしたか」で表示されます。まだ試験的な機能です。
2. ボタンとリンクは本物の要素で作る。見た目だけボタンにしたdivではなく、buttonやaを使います。入力欄には、labelをきちんと結びつけます。
3. ボタンの上に透明な要素を重ねない。覆われた部品は、エージェントが無視することがあると説明されています。
4. 大事なボタンの位置をそろえ、表示中のずれを減らす。「カートに入れる」などはどのページでも同じ場所に置きます。読み込み中に画面がずれると、エージェントが押し間違える原因になります。
5. 自分のサイトをGeminiに読ませてみる。Gemini in Chromeで自社のページを開き、「このページから問い合わせるにはどうすればいい？」と聞いてみます。答えがずれていたら、人にもわかりにくい作りかもしれません。

WebMCPは「知っておく」段階

WebMCPは、サイトの側から「予約する」「検索する」といった操作をAIエージェントに直接伝えるための仕組みです。HTMLのフォームに注釈を足す方法と、JavaScriptで定義する方法があります。2026年10月7日更新のChromeのドキュメントでは、まだ提案中の標準で、Chrome 149からオリジントライアル（試験提供）の段階です。制作会社に頼む場合も、いまはまず上の1〜4を整えるほうが先だと私たちは考えています。

ヒカリちゃんのまとめAIに読みやすいサイトは、人にも使いやすいサイトです。まずはLighthouseで自社のページを一度調べて、ボタンと入力欄の作りから見直してみましょう。

画面をAIに見せる前の注意（プライバシー・権利）

画面を読むAIは便利ですが、画面に映っているものはすべてAIに渡ります。仕事で使う前に、次の点を確かめてください。

1. スマホの画面共有は、画面全体が渡る。Geminiのヘルプには「画面を共有すると、デバイスの全画面が Gemini に共有されます」とあります。通知やほかのアプリの内容も映るので、お客様の情報や社外秘の資料を開いたまま共有しないようにします。
2. Chromeでは、開いているタブの内容とURLが渡る。Geminiのプライバシーのヘルプでは、現在のタブと共有したタブから、ページの内容とURLを集めて処理すると説明されています。設定の見直し方はGemini in Chromeの記事で紹介しています。
3. 代わりに操作させるときは、最後は自分で確かめる。Gemini APIのComputer Useは、誤りや安全上の弱点を含む可能性があるプレビュー機能とされ、隔離した環境での利用と人の監督がすすめられています。Chromeの自動ブラウジングも、購入の確定や規約への同意は利用者に引き継ぐ仕組みです。
4. 他人のページや画面の内容を、そのまま外に出さない。AIに要約させた他社のページや、スクリーンショットに写った他人の作品には、それぞれ権利があります。社内の検討に使うのはよくても、資料や記事として公開するときは、引用の範囲に収め、出典を示します。

ヒカリちゃんのまとめ画面を見せる前に、映っているものを一度見回すのがいちばんの対策です。操作を任せるときも、お金や契約が動く場面は自分の目で確かめてくださいね。