データセット は、AIの 学習や評価 に使う まとまったデータの集まり です。写真の集まり、文章の集まり、表形式の記録など、目的に応じてさまざまな形があります。
「良いデータあってこその良いAI」と言われるほど、データセットの 質と量 は、できあがる モデル の性能を大きく左右します。偏ったデータで学べば、偏った判断をするAIになってしまいます（バイアスの問題）。
データセットは、ふつう用途別に分けて使います。
- 学習用（トレーニング） … モデルを鍛えるためのデータ。
- 検証用（バリデーション） … 学習の途中で調整の良し悪しを確かめる。
- テスト用 … 最後に、未知のデータでの実力を測る。
こう分けるのは、過学習 を防ぎ、本当の実力を正しく評価するためです。学習に使ったデータで試験しても、それは「見たことのある問題」なので、実力は測れません。
なお、実務では、生のデータをそのまま使えることは少なく、欠けの補完や表記ゆれの統一といった「前処理」に多くの手間がかかります。地味ですが、AI開発で非常に重要な工程です。