言語モデルの仕組みを、数式なしで

ChatGPT、Claude、Geminiといったアシスタントは、言語モデルの上に成り立っています。会話の裏にあるのはシンプルな考えを、とてつもない規模で繰り返すことです。次にどんな文字の断片が来るかを予測する。

テキストはトークンになる

モデルは文字や単語をそのまま読むわけではありません。テキストをトークンという断片に分けます。短い単語、単語の一部、句読点などです。各トークンは、モデルが処理できる数字の列に変換されます。

一語ずつ予測する

学習の段階で、モデルは膨大な量のテキストを見て、次のトークンを当てられるよう何十億ものパラメーターを調整します。回答するときも同じです。ありそうなトークンを選び、答えに加え、それを繰り返す。こうして答え全体が少しずつ生まれます。

1. 事前学習

   大量のテキストを予測することで、モデルは言語のパターンを学ぶ。

2. ファインチューニング

   会話の例から、指示に従い明確に答えるというアシスタントの形式を学ぶ。

3. 人による評価

   人が回答を比べ、より役に立ち安全な回答を好むようにモデルが調整される。

コンテキストウィンドウ

モデルが見ているのは、コンテキストウィンドウに収まるものだけです。今の会話、アップロードしたファイル、指示。その外にあるものは、その瞬間のモデルにとって存在しません。