マルチモーダル（文字・画像・音声をいっしょに扱うAI）
英語 Multimodal AI
マルチモーダルAIは、文字だけでなく画像や音声など複数の種類の情報をいっしょに受け取り、理解して答えるAIです。写真を見せて質問できるので、使い道が広がります。
マルチモーダルとは「複数の方式」という意味で、ここでいう方式とは、文字・画像・音声のように情報が入っている種類のことです。文字だけを読んでいた人が、目で見て耳で聞きながら話せるようになったように、文字だけだったAIが写真や音声もいっしょに受け取れます。たとえば、お店のメニューの写真を見せて「紹介文を書いて」と頼めます。
気をつけたい点 写真を送ると、写っている名前や電話番号、お客様の情報もAIのサービスに送られます。送る前に隠し、AIが画像の中の文字を読み間違えることもあるので、結果は自分で確かめましょう。同じ写真でもサービスごとにできることが違うので、ツールの案内も合わせて読んでおきましょう。
出典: Google Cloud「マルチモーダル AI」、Google AI for Developers「画像の理解」、Anthropic「Vision」