2024年3月4日（アメリカ現地時間）、Anthropicは現状、最高性能モデルの「Claude 3 Opus」を含む、新たな大規模言語モデルファミリー「Claude 3」を発表しました。

Claude 3シリーズはHaiku、Sonnet、Opusの3バージョンで提供され、新たに発表されたOpusはシリーズ中で最も高性能なモデルとされています。
この記事では、Claude 3ファミリーの特徴、各モデルの性能比較、利用方法、そしてGPT-4との比較に焦点を当てて解説します。

Claude とは？

Anthropicが開発した大規模言語モデル「Claude」の最新バージョンが「Claude 3」です。実はClaude 3は3つのモデルから構成されるモデルファミリーで、以下の通り段階的に高度な能力を持っています。

• Claude 3 Haiku

• Claude 3 Sonnet

• Claude 3 Opus

各モデルは知性、応答速度、コストのバランスが異なるため、ユースケースに合わせて最適なものを選択できるのが特徴です。

Haikuは最もコンパクトで高速なモデルで、シンプルなタスクを低コストで処理できます。Sonnetはバランスの取れた汎用モデルで、幅広いタスクをこなせるオールラウンダーと言えるでしょう。OpusはClaude 3の中で最も知的で高性能なモデルです。複雑で高度なタスクも人間に匹敵するレベルでこなします。

どのモデルも自然言語処理と言語生成に特化しており、以下のような点で従来のChatbotを大きく上回る性能を発揮します。

• 人間のような自然な会話能力

• 文脈を深く理解し適切に対応

• 日本語を含む100以上の言語に対応

• 分析、要約、創作など幅広いタスクをこなす

• 画像の理解や処理にも対応

Claude 3は、シンプルなQ&Aから専門的な調査・分析、クリエイティブなコンテンツ制作まで、使い方次第で業務の自動化や効率化を大きく進められるでしょう。

料金について

Claude 3はAPIを介して利用するため、料金は入出力されるトークン数に基づいて計算されます。モデルごとの料金は以下の通りです。

• Haiku

  • 入力: $0.25 / 100万トークン

  • 出力: $1.25 / 100万トークン

• Sonnet

  • 入力: $3 / 100万トークン

  • 出力: $15 / 100万トークン

• Opus

  • 入力: $15 / 100万トークン

  • 出力: $75 / 100万トークン

一方、Webブラウザから利用できる「claude.ai」には無料プランと有料プランが用意されています。

• 無料プラン

  • Sonnetモデルを使用可能

• Claude+ プラン

  • Opusモデルを使用可能

  • 1か月あたり$20から

トークンとは、モデルが処理する単位であり、だいたい1単語が1トークンに相当します。より高性能なモデルほどトークン単価が高くなっていますが、処理速度と精度のバランスを考えれば十分コストに見合った性能と言えるでしょう。

また、現在、「Sonnet」モデルは「Amazon Bedrock」経由で利用可能です。 また、「Google Cloud」の「Vertex AI Model Garden」でもプライベートプレビュー版として提供されています。

「Opus」と「Haiku」の両モデルも、近い将来これらのプラットフォームで利用できるようになる予定です。

Claudeの使い方

Step1. 以下のリンクから Claude にログイン、または新しくアカウントを作成します。

メールアドレスやGoogleアカウント等でアカウントを作成することができます。

Step2. アカウントを作成し以下の画面になるので、電話番号を登録します。日本の電話番号でも登録できます。

Step 3. セットアップ完了！

下記の画面が表示されたら、中央の入力欄に文章を入力して使用を開始できます。

Proへのアップグレード

Claude 3 Opusが使えるProプランへの登録は、画面下部の矢印部分から可能です。クレジットカードなどの登録が必要になります。

モデルの変更

入力をすると、以下のような画面になります。

矢印の部分をクリックすると、以下のようにモデルの一覧が表示されます。この一覧には、現在のモデルだけでなく、過去に使用していたモデルも含まれています。過去のモデルを選択することで、以前のバージョンに戻って使用することができるようになっています。

Claude の主な特徴と性能比較

ビジョン機能

Claude 3は、他の先進的なモデルに匹敵する高度なビジョン機能を備えています。写真、チャート、グラフ、技術図面など、様々なビジュアルフォーマットを処理できます。

高速レスポンス

Claude 3はほぼ瞬時の応答が可能で、ライブチャットや自動補完、データ抽出など、リアルタイム性が求められるタスクを処理できます。

特にHaikuモデルは、同クラスで最速かつ最もコスト効率の高いモデルです。arXivの1万トークン規模の論文を、図表込みで3秒以内に読み取ることができます。

不要な拒否の減少

旧来のClaudeは文脈を十分理解せず不要な拒否反応を示すことがありましたが、Claude 3では大幅に改善されました。システムのガードレールギリギリの曖昧なプロンプトにも適切に対応します。

下の図が示すように、Claude 3は微妙なニュアンスを汲み取り、実際に危害のない要求まで拒否することはほとんどなくなりました。

正確性の向上

ビジネスにおいてスケールする上で、モデルの高い正確性は不可欠です。Claude 3 Opusは、既知の弱点を突く難問に対し、誤答や不確実な回答を大幅に減らしつつ、正答率を2倍に改善しました。

さらに近日中に、根拠となる文の引用機能も実装予定です。これにより回答の信頼性がさらに向上するでしょう。

長文コンテキストと高精度の記憶力

Claude 3は、リリース時点で最大20万トークンのコンテキストウィンドウが提供されています。将来的には、100万トークン超の入力も可能になる予定です。

また、大量のコーパスから情報を高精度で思い出す能力も重要です。Claude 3 Opusは「Needle In A Haystack」評価で99%以上の精度を達成。人間による加工痕跡まで見抜くほどの性能を発揮しました。

最後に、各種ベンチマークにおけるClaude 3の優れたスコアをご覧ください。

Opusは、GPT-4を含む競合他社の製品と比較して、ほぼ全ての評価で最高得点を記録しています。SonnetとHaikuも同クラスのモデルでトップクラスの性能を示しました。

図はClaude 3と他社の代表的なモデルとの性能比較です。MMLU（学部レベルの知識）、GPQA（大学院レベルの推論）、GSM8K（基礎数学）など、様々な分野のテストで Claude 3 Opusが軒並みトップの成績を収めています。

OpusだけでなくSonnetもほとんどの項目で上位に食い込んでおり、従来モデルを上回る性能を持つことがわかります。Haikuも同クラスのモデルの中では最高速かつ最も低コストで、同等以上の性能を発揮しています。

これらの能力は、大学院レベルの専門的なタスクから、創作や問題解決に至るまで、幅広い分野で発揮されます。

以上のように、ベンチマークの結果と実際の性能から見て、Claude 3は現時点で最高クラスの言語モデルと言えるでしょう。

GPT4との比較

次は、GPT-4とClaude 3の性能を実際に比べてみましょう。
同じ質問を両者に投げかけ、それぞれの回答を見比べてみます。