本記事では、GPT-4の噂と予測について話します。GPT-4のパラメーターカウントについては、100兆パラメーターと言われていますが、その真偽は不明です。GPT-4のパラメーターカウントのトレンドは指数関数的な増加であり、2023年には1兆から10兆の範囲にある可能性があります。GPT-4は、データのスケールによって制限される可能性があります。GPT-4のモダリティも問題となりますが、現在はテキストのみに対応しています。 GPT-4には、人間のような抑制回路がないため、混同する可能性が高いです。

1. GPT-4に関する噂と予測

GPT-4に関する噂は、インターネット上で数年前から広がっています。その中で最も有名なのは、GPT-4がパラメーター数が100兆とされるというものです。しかし、これは信頼性が低いと考えられます。GPT-3のパラメーター数が1750億であったのに対し、それが1000倍も大きくなるとは考えにくいです。実際には、GPT-4のパラメーター数は、10兆から20兆程度と予測されています。また、GPT-4がどのようなモデルであるかについても、噂や情報は少なく、正確な情報は公には出ていないと考えられます。

2. GPT-4のデータ制約

GPT-4のパフォーマンスを向上させるためには、指数関数的に増加するデータ量が必要だと言われています。GPT-3がインターネット上のクオリティの高い情報の大部分でトレーニングされた場合、GPT-4にトレーニングするための10倍以上のデータがあるかどうかはわかりません。そして、GPT-4は低品質なデータを避けることもできません。GPT-4のトレーニングに使用されるデータが最も貴重なものであることが重要です。

3. モダリティの問題

GPT-3はテキストのみを扱うことができますが、OpenAIはDollyやWhisperも持っており、画像や音声データも扱うことができます。しかし、ChatGPTモデルはまだスピーカー認識を行っていません。そのため、GPT-4が音声や画像などの他のモダリティのデータを扱えるようになっているかどうかは不明です。また、GPT-3が扱えるのはテキストのみであり、多様なモダリティのデータを扱えることができるようになることは、GPT-4においても問題となる可能性があります。

4. 抑制回路の欠如

人間の脳は、不要な情報を遮断することができる抑制回路を持っています。これは、脳内での「調べ物」をすることで、脳内の情報処理を効率化することができます。しかし、GPT技術にはこの機能がありません。GPTは、明確なターゲットを与えられなければならないため、「これはしないで」といった指示を理解することはできません。fine tuningを行うことで、抑制回路の欠如を一定の程度はカバーすることはできますが、人間らしい挙動を実現するためには、人工ニューラルネットワークに抑制回路を追加する必要があります。

よろしければ他の記事もご覧ください

最後に

ChatGPTの最新情報を知りたいですか？Twitterをフォローすると、最新のニュース、アップデート、情報を入手できます。この革命的なテクノロジーの最前線に立つ機会をお見逃しなく！@ctgptlb