ChatGPTのGPTって何？

おはようございます！
AI・Web担当の日高慎哉です！

さて昨日は
AIがどうやって文章を作っているのか？

ということを書いたのですが

今日は
いつもお世話になっている
ChatGPT

この「GPT」とはなんのことなのか？

について
解説してみたいと思います

多分誰も興味ないと思いますが
実はこのブログを書きながら
僕自身のインプットのために書いてるので
ご了承ください

早速ですが
GPTとはなんの略かというと

Generative（生成）

Pre-trained（事前に学習された）

Transformer（トランスフォーマーという仕組み）

？？

ざっくりいうと
事前に学習された莫大なデータから
めっちゃ頭のいいAIの仕組みが
文章を作ってくれる

ということです

昨日の振り返りのような
感じにもなりますが

もう少し専門的にAIが
文章を作る仕組みを書いてみます

例えば
美味しいパスタのレシピを教えて！

と聞いてみたとします

そうするとAIは
この言葉をバラバラに分解します

「美味」「しい」「パスタ」「の」「レシ」「ピ」「を」「教」「えて」

みたいな感じに

このバラバラになったものを
トークンと呼びます

新しいAIがリリースされた時に
あのAIは〇〇トークン使えると
比較されることが多いです

このトークンですが
英語と日本語では消費量が違っていて

超ざっくりですが
英語だと１単語１トークン
日本語だと1文字１トークン

ぐらいに思っておけば良いようです

ちなみに
ChatGPT(4o)は
1チャットで128,000トークン
扱えるようです(小説１冊レベル)

前の3.5モデルは4,096トークンしか
扱えなかったことを考えると
非常に大きく進化してます

話戻しますと

このバラバラになった
トークンに次は
どんな意味がるのか？という情報を
数字のリスト(ベクトル)にします

例えば「美味しい」という言葉は
味についてのベクトル

「レシピ」は
料理の手順のベクトル

という感じで
意味づけをします

その次に
このベクトル同士の関係を
計算していきます(アテンション機構)

つまり
どの言葉とどの言葉の関係が
深いかを計算していきます

「美味しい」「パスタ」は関係がありそう！

「教えて」は全ての言葉に関係がある！

というように
意味を紐づけています

そして文脈が理解できたら
この質問に対しての回答を

一つ一つの単語を予測しながら
回答していきます

例えば
この質問の次に続ける言葉は・・・

材料のことじゃないか？と予測し

「材料は」・・・次の文字予測し
「スパゲティ 100g」・・また予測し
「トマト 50g」・・・

と予測を繰り返し
回答を返していくということです

ということで
これがAIの回答の作られ方です！

これを知ることで・・・

ちょっと詳しい人に見られる？(笑)

明日から
Chat Generative Pre-trained Transforme

って呼んでみたらいいかもですね(笑)

それでは
また明日！