AIの世界の トークン は、大規模言語モデル（LLM） が文章を処理するときの 基本単位 です。単語よりやや細かく、文章はいったんトークンに分解されてから扱われます。
たとえば英語では、よくある単語は1トークン、珍しい単語や長い単語は複数のトークンに分かれることがあります。日本語では、数文字ごとに区切られる傾向があります（目安として、日本語1文字がおおむね1トークン前後）。
このトークンは、実務上とても重要です。
- 料金 … 多くのAIサービスは、処理したトークン数に応じて課金される。
- 入力できる長さ … 一度に扱える最大量（コンテキスト長）は、トークン数で決まる。長い文書を扱うときの制約になる。
そのため、長い文章を効率よく処理する工夫や、必要な情報だけを渡す RAG のような手法が重要になります。
注意したいのは、同じ「トークン」でも、セキュリティのトークン（アクセス権の引換券）とは まったくの別物 だということです。文脈で意味が変わるので、混同しないようにしましょう。