トークン（AIが文章を読み書きする単位）
英語 token
トークンは、AIが文章を読み書きするときの最小の区切りの単位です。利用料金や一度に扱える文章の量は、このトークン数で決まります。
AIは文章を文字や単語のまま読むのではなく、トークンという小さな塊に切り分けて読み書きします。本をページ単位で数えるように、AIは文章の量をトークンの数で数えます。OpenAIの文書では、英語の場合に1トークンがおよそ4文字とされています。1トークンが何文字になるかは、モデルや言語によって変わります。質問と答えを合わせたトークン数は、モデルの最大の長さを超えられません。
気をつけたい点 利用料金も、ふつうはトークン数に単価をかけて決まります。同じ内容でも、モデルが変わるとトークン数が変わることがあります。正確な数は、サービス会社のトークン数を数える機能で確かめてください。
出典: OpenAI APIドキュメント「Key concepts」・Anthropic「Glossary」