Google ScreenAI는 어떻게 되었나｜화면을 읽는 AI와 UX의 2026년

Google ScreenAI는 무엇이었나

ScreenAI는 Google 연구팀이 2024년에 발표한, 화면을 이해하는 AI 모델입니다. 논문은 2024년 2월에 공개되었고, 3월 19일 Google Research 블로그에서 소개되었습니다. 스마트폰 앱이나 웹페이지의 화면(UI)과, 그래프·도표 같은 「인포그래픽」을 둘 다 읽어 낸다는 점이 특징이었습니다.

연구 블로그와 논문에 따르면 ScreenAI는 주로 다음과 같은 일을 할 수 있었습니다.

1. 화면의 요소를 글로 적어 낸다.버튼, 글자, 이미지 등의 종류·위치·설명을 텍스트로 만듭니다(스크린 어노테이션).
2. 화면에 대한 질문에 답한다.스크린샷을 보여 주고 「이 가게 이름은?」이라고 물으면 화면의 글자를 읽고 답합니다.
3. 조작 지시를 화면 위 동작으로 바꾼다.「목록의 첫 번째 항목을 눌러」 같은 지시를, 어디를 누를지로 바꿔 줍니다.
4. 화면을 짧게 요약한다.표시된 내용을 한두 문장으로 정리합니다.

구조를 보면, Google의 이미지·언어 모델 「PaLI」를 바탕으로 세로로 긴 화면과 가로로 긴 화면을 원래 비율대로 다루는 방식(pix2struct의 분할 방법)을 결합했습니다. 학습 데이터는 화면 요소를 적어 낸 텍스트를 대규모 언어 모델(LLM)에 넘겨, 질의응답·조작·요약 연습 문제를 대량으로 만들게 하는 방법으로 마련했다고 설명합니다.

「Screen Annotation」「ScreenQA Short」「Complex ScreenQA」 3개의 데이터셋도 공개되어, 지금도 GitHub에서 볼 수 있습니다. 논문은 국제 학회 IJCAI 2024의 논문집에도 실렸습니다.

히카리짱의 정리ScreenAI는 화면을 사람처럼 「보고 읽기」 위한 연구 모델이었어요. 우리가 직접 써 보는 제품이 아니라, 연구 성과와 데이터가 공개된 것이었어요.

화면을 읽는 AI, 2026년 10월까지의 연표

ScreenAI라는 이름의 제품은 그 뒤 나오지 않았습니다. 반면 「화면을 보고 이해하고 조작하는 AI」는 Google과 다른 회사에서 제품으로 잇따라 나왔습니다. 주요 사건을 늘어놓습니다. 일본 발표로 확인한 것은 「일본 기준」이라고 표시했습니다.

히카리짱의 정리ScreenAI라는 이름은 제품이 되지 못했지만, 화면을 읽는 AI는 2년 사이 말을 걸고, 찾아보고, 조작하는 데까지 퍼졌어요. 이제는 웹사이트 쪽이 AI에게 읽힐 준비를 하는 단계예요.

지금 쓸 수 있는 「화면을 읽는 AI」와 시작하는 방법

2024년 글에는 「공개까지 한동안 기다려야 한다」고 썼습니다. ScreenAI 자체는 아니지만, 화면을 보고 답해 주는 AI는 지금 한국에서도 한국어로 쓸 수 있는 것이 있습니다. 업무에서 시험하기 쉬운 세 가지를 듭니다.

Gemini Live로 화면을 보여 주는 순서(Android)

제미나이 앱 도움말(한국어, 2026년 10월 26일 확인)은 다음과 같이 안내합니다. 필요한 것은 Android 스마트폰이나 태블릿, 제미나이 모바일 앱, 최신 Google 앱, 로그인한 Google 계정입니다.

1. 제미나이 앱을 열고 Live를 시작한다.하단의 Live를 누르거나 왼쪽으로 스와이프합니다.
2. Live 화면에서 「화면 공유 사용 설정」을 누른다.앱 밖에서는 「Hey Google」이라고 말하거나 눌러서 제미나이를 연 뒤 「Live에 화면 공유하기」를 누릅니다. 사전에 Gemini Live 알림을 켜 두어야 합니다.
3. 보여 줄 앱이나 페이지로 바꾸고 목소리로 질문한다.「이 화면의 신청 버튼은 어디야?」처럼 묻습니다.
4. 끝나면 공유를 멈춘다.Live가 대기 상태가 되거나 화면을 잠그면 공유가 자동으로 멈춥니다. 다시 시작은 직접 해야 합니다.

크롬의 제미나이 시작 방법과 탭을 나란히 놓고 비교하는 방법은 크롬의 제미나이 글에 정리했습니다. 크롬이 대신 페이지를 조작하는 자동 탐색은 2026년 10월 26일 확인 시점에도 만 18세 이상·미국 거주·기기 언어 영어·Google AI Pro 또는 Ultra 이용이 조건이어서(크롬 도움말, 한국어), 한국에서는 쓸 수 없습니다.

히카리짱의 정리스마트폰이라면 Gemini Live 화면 공유, 컴퓨터라면 크롬의 제미나이부터 시험해 보는 게 빠른 길이에요. 크롬의 제미나이는 유료 플랜 조건이 도움말에 없어서 먼저 무료로 시작해 볼 수 있어요.

ScreenAI 2024년 글 되짚어 보기

2024년 4월 글(일본어)에 쓴 내용을 지금의 정보와 견주어 봅니다.

가장 큰 불찰은 「AI가 화면을 읽는다면 사이트는 어떻게 만들어야 하는가」를 쓰지 않은 것입니다.

2024년 글은 ScreenAI의 구조 설명이 중심이었습니다. 제목에서 UX를 물으면서도, 웹사이트나 앱을 만드는 사람이 무엇을 하면 좋은지는 다루지 않았습니다. 지금은 크롬 개발자 자료가 바로 그 답을 내놓기 시작했습니다. 다음 장에서 소개합니다.

히카리짱의 정리ScreenAI 설명은 당시로서는 정확했지만 「공개를 기다리면 된다」는 전망은 빗나갔어요. 화면을 읽는 AI는 다른 이름으로 이미 우리 손에 와 있어요.

UX·웹 담당자가 지금 할 수 있는 일

Google의 개발자 사이트 web.dev 글에 따르면 AI 에이전트는 주로 세 가지 방법으로 페이지를 읽습니다. 스크린샷을 이미지로 보는 방법, HTML 구조를 읽는 방법, 브라우저가 보조 기술용으로 만드는 「접근성 트리」를 읽는 방법입니다. 여기에 사이트가 마련한 WebMCP 도구를 쓰는 방법도 제안 중인 새 경로로 소개되어 있습니다. 지금의 에이전트는 이것들을 조합해 쓴다고 설명합니다.

ScreenAI처럼 이미지만으로 화면을 읽는 방법은 느리고 손이 많이 가서 보조 수단으로 여겨집니다. 크롬 개발자 블로그(2026년 6월 22일)는 접근성 트리를 「AI 에이전트가 페이지를 이해하는 주된 방법」이라고 씁니다. 눈이 불편한 사람을 위해 갖춰 온 구조가 그대로 AI에게도 통한다는 뜻입니다.

오늘부터 할 수 있는 5가지

1. Lighthouse의 「에이전트 브라우징」을 실행한다.Chrome 150 이상의 Lighthouse에서 이 카테고리를 골라 자사 페이지를 점검합니다. 접근성, 레이아웃 안정성, llms.txt, WebMCP 항목이 있고, 0~100점이 아니라 「몇 항목을 충족했는가」로 표시됩니다. 아직 실험적인 기능입니다.
2. 버튼과 링크는 진짜 요소로 만든다.모양만 버튼인 div 대신 button과 a를 씁니다. 입력란에는 label을 제대로 연결합니다.
3. 버튼 위에 투명한 요소를 겹치지 않는다.가려진 부품은 에이전트가 무시할 수 있다고 설명합니다.
4. 중요한 버튼의 위치를 맞추고, 표시 중 화면이 밀리는 것을 줄인다.「장바구니 담기」 같은 버튼은 어느 페이지에서나 같은 자리에 둡니다. 로딩 중에 화면이 밀리면 에이전트가 잘못 누르는 원인이 됩니다.
5. 자사 사이트를 제미나이에게 읽혀 본다.크롬의 제미나이로 자사 페이지를 열고 「이 페이지에서 문의하려면 어떻게 해?」라고 물어봅니다. 답이 엇나가면 사람에게도 알기 어려운 구조일 수 있습니다.

WebMCP는 「알아 두는」 단계

WebMCP는 사이트 쪽에서 「예약하기」「검색하기」 같은 조작을 AI 에이전트에게 직접 알리는 방식입니다. HTML 폼에 주석을 더하는 방법과 JavaScript로 정의하는 방법이 있습니다. 2026년 10월 7일 갱신된 크롬 문서에 따르면 아직 제안 중인 표준이며, Chrome 149부터 오리진 트라이얼(시험 제공) 단계입니다. 제작사에 맡기는 경우에도 지금은 위의 1~4를 먼저 갖추는 편이 앞선다고 저희는 생각합니다.

히카리짱의 정리AI가 읽기 쉬운 사이트는 사람에게도 쓰기 쉬운 사이트예요. 먼저 Lighthouse로 자사 페이지를 한 번 점검하고, 버튼과 입력란의 구조부터 살펴보세요.

화면을 AI에게 보여주기 전에(개인정보·권리)

화면을 읽는 AI는 편리하지만, 화면에 비친 것은 모두 AI에게 넘어갑니다. 업무에 쓰기 전에 다음을 확인하세요.

1. 스마트폰 화면 공유는 전체 화면이 넘어간다.제미나이 도움말에 「화면을 공유하는 경우 전체 화면이 Gemini와 공유됩니다」라고 있습니다. 알림이나 다른 앱의 내용도 비치므로, 고객 정보나 사외비 자료를 열어 둔 채 공유하지 않도록 합니다.
2. 크롬에서는 열려 있는 탭의 내용과 URL이 넘어간다.제미나이 개인정보 도움말(한국어)은 현재 탭과 공유한 다른 탭에서 페이지 콘텐츠와 URL을 수집하고 처리한다고 설명합니다. 설정을 살펴보는 방법은 크롬의 제미나이 글에서 소개합니다.
3. 대신 조작시킬 때는 마지막에 직접 확인한다.Gemini API의 Computer Use는 오류나 보안상 약점이 있을 수 있는 프리뷰 기능으로, 격리된 환경에서 쓰고 사람이 감독하기를 권합니다. 크롬의 자동 탐색도 구매 확정이나 약관 동의는 이용자에게 넘기는 방식입니다.
4. 다른 사람의 페이지나 화면 내용을 그대로 밖에 내놓지 않는다.AI에게 요약시킨 다른 회사 페이지나 스크린샷에 찍힌 남의 작품에는 각자 권리가 있습니다. 사내 검토에 쓰는 것은 괜찮아도, 자료나 기사로 공개할 때는 인용 범위 안에 두고 출처를 밝힙니다.

히카리짱의 정리화면을 보여 주기 전에 비치는 것을 한 번 둘러보는 게 가장 좋은 대책이에요. 조작을 맡길 때도 돈이나 계약이 오가는 장면은 직접 눈으로 확인해 주세요.