インハウスマーケティング部の井上です。
生成AIを使い始めたばかりの方は、「ChatGPTやらClaudeやら、いろんなサービスがあるけど、どんな違いがあるの？」と疑問に思ったことが一度はあるのではないでしょうか。
そこで今回は3つの生成AIサービスを実際に使用して、その特徴とアウトプットを比較してみました。
この記事では生成AIにふれて間もない方や、各モデルでどのようなアウトプットの違いが出るかざっくり知りたいという方向けに、主観的な意見を含めつつご紹介していきます。
※本記事に掲載している情報は2024年4月30日時点のものです。
比較する言語モデルと比較項目
今回はOpenAI社のChatGPT（GPT-4）、Anthropic社のClaude 3、そしてGoogle社のGeminiと、3つの言語モデルの性能を比較します。
- 学習データ：言語モデルの学習に使われているデータがいつのものか記載
- 利用料金：月額利用料など料金について
- コンテキストウィンドウ：生成する際に参照するトークン数の上限のこと。数が多いほど多くの情報を参照して回答を生成できるため、長文を読み込ませたい場合に有利
- 機能：ファイル読み取りや画像生成など、テキスト生成以外にできる機能について記載
それぞれのモデルの性能比較に加えて、以下のユースケースで同じプロンプトを与えた際のアウトプットの差を比べてみました。
- メール作成
- 記事の構成案作成
- 記事の執筆
なお、今回はAPI使用なしのWebブラウザ版を前提とした内容となります。
各言語モデルの性能評価はベンダーによるベンチマーク評価など、専門家によって客観的な評価をおこなうテストも実施されています。こちらは専門的な話になるため、今回は割愛させていただきます。
各モデルの概要
ChatGPT（GPT-4）
生成AIという概念を一般的に広めたといっても過言ではない、OpenAI社が開発した言語モデルです。ChatGPTはOpenAI社が提供しているサービス名のことで、言語モデルは同社が開発しているGPT-4（無料版ではGPT-3.5）が使用されています。Microsoft Copilotでも使用されていますが、Copilotは検索エンジンBingと組み合わせた技術を用いており、引用付きの回答を生成してくれる点などで違いがあります。
GPT-4はテキストだけでなく、ファイル読み取りや画像認識や画像生成、アプリ版では音声認識も対応可能。さらにさまざまなプラグインや、GPTモデルを簡単にカスタマイズできるGPTs（GPT Builder）の機能が搭載されているなど、カスタマイズが簡単なのも強みといえます。
2023年11月には、GPT-4をベースにファインチューニングされたモデル「GPT-4 Turbo」も発表。GPT-4の約４倍の128,000トークンに対応するなどアップグレードしています。なお本記事の執筆時点ではGPT-4 Turboの利用はAPIを通す必要があるものの、Copilotには2024年3月から無料版でもGPT4-Turboが搭載されました。
| 学習データ | 2023年4月までの情報を学習 |
|---|---|
| 利用料金 | 無料（Freeプラン）、20＄（Plusプラン）、25＄（Teamプラン） |
| コンテキストウィンドウ | 32,768トークン（32Kモデル）、128,000トークン（GPT-4 Turbo） |
| 機能 | Webブラウジング、画像認識・生成、ファイル読み込み、プラグイン利用、カスタマイズ（GPTs）、音声認識（アプリ版） |
Claude 3
現在僕も一番使っているAIが、Anthropic社が開発しているClaudeです。2024年3月に最新版であるClaude 3がリリースされ、最も性能がいいOpus、出力速度の速いHaiku、それらの中間となるSonnetと3つのモデルが利用できます（Opus、Haikuは有料版のみ利用可）。
その特徴のひとつが、コンテキストウィンドウのトークン上限です。GPT-4（32K）のおよそ6倍のトークンを処理できるため、長文認識や分析に強い生成AIモデルといえるでしょう。個人的には日本語の処理がGPTより自然だと感じていて、職能柄とても重宝しています。
一方でWebブラウジングや画像生成ができないなどの弱点もあり、用途に応じて使い分ける必要があります。
| 学習データ | 2023年8月までの情報を学習 |
|---|---|
| 利用料金 | 無料（Sonnet）、20＄（Opus、Haiku） |
| コンテキストウィンドウ | 20万トークン |
| 機能 | ファイル読み込み、画像認識 |
Gemini
Googleが開発しているAIモデルGemini。リアルタイム検索を通して情報を引用できるのが特徴で、2024年2月には標準で12.8万トークン、開発者・法人向けには最大100万トークンに対応した最新モデル「Gemini 1.5 Pro」を発表しました。
GeminiはWebブラウザ版とGoogle AI Studioで使える開発環境版があり、Gemini 1.5 ProはAPIを開発環境の方で利用できます。ただし、API利用は2024年5月2日から有料化しましたのでご注意ください。
Gemini 1.5 Proはコンテキストウィンドウの量もさることながら、動画解析や音声認識もできる万能型のツールとなっています。つい最近までこれが無料で使えたというのがすごいですね……！
| 学習データ | 非公表（Webにアクセス可能） |
|---|---|
| 利用料金 | Webブラウザ版は無料（API利用は2024年5月2日から有料化） |
| コンテキストウィンドウ | 12.8万〜100万トークン（Gemini 1.5 Pro） |
| 機能 | ファイル読み込み、画像認識、動画認識、音声認識 |
各言語モデルのアウトプットで比較
ここからはChatGPT（GPT-4）、Claude 3 Opus、Gemini 1.5 Proの3つのモデルにおなじプロンプトを入力し、アウトプットがどのように異なるかを比較してみました。
※Claude 3はPerplexityからAPIを通して使用しています。システムプロンプトの違いから、Claude 3のWebブラウザ版とは結果が異なる可能性があるためご了承ください。
メール作成、記事の構成案作成、記事の執筆の順にご紹介します。
メール作成
以下のように、架空の顧客対応メールを作成させてみます。
▼プロンプト
あなたは優秀なカスタマーサポート担当者です。
以下の情報をもとにして、顧客への返信メールを作成してください。#概要
・自社名：アウトドアのA社、担当者：井上
・オンラインサイトで購入したテントのポールが曲がっており、交換対応できないか、個人のお客様から相談を受けている#目的
・商品交換対応をおこなう旨の説明と謝罪#アクション
・交換商品を3営業日以内に発送する
・不良品を返送する段ボールも同梱するので着払いで送ってほしい
ChatGPT
Cluade 3
Gemini
三者三様の結果ですね。意外にも、コンテキストウィンドウが一番多いGemini Proが一番シンプルな回答となりました。真価を発揮するのは長文を入力したときとはいえ、アウトプットの質はこの時点ではいまいちに思えます……。
GPT-4は情報を分かりやすく整理してくれていますが、冒頭でお詫びを二回立て続けてしまっていたり、少し日本語に不安な部分も見られました。
そのまま使えそうなレベルなのはClaude 3でしょうか。良い意味で当たり障りのない文章を出してくれたように思います。
- ▼勝手に採点
- Claude 3：☆☆☆☆☆
ChatGPT：☆☆☆☆-
Gemini：☆☆—
記事の構成案作成
▼プロンプト
あなたは優秀なSEOライターです。
以下の情報をもとにして、記事の構成案を作成してください。#キーワード
ChatGPT プロンプト#条件
・まずユーザーの検索意図を予測して、それをもとに構成案を作る
・あなたの最新の学習データ（もしくはWebブラウジングした結果）をもとに、1位で表示されるために必要な要素を入れる
・他記事のコピーコンテンツにならないようにする
・想定文字数は問わない
今度はSEO記事の構成案を作るように指示してみました。
出力形式も指定していないシンプルなプロンプトですが、どうなるか……！
ChatGPT
Cluade 3
Gemini
結果としてはClaude 3とGeminiが似た内容となり、ChatGPTはこちらの意図と違った出力となってしまいました。
Claude 3とGeminiの内容をよく見てみると、Geminiのほうがより詳しくかつ丁寧に構成を作ってくれています。とくに1位表示のための要素やプロンプト例まで具体的に記載してくれていたので、SEO記事の作成に慣れていない方は参考になるのではないでしょうか。
- ▼勝手に採点
- Gemini：☆☆☆☆☆
Claude 3：☆☆☆☆-
ChatGPT：☆☆—
記事の執筆
▼プロンプト
あなたは優秀なSEOライターです。
以下の構成案に従って、SEO記事を執筆してください。＃キーワード
ChatGPT プロンプト＃構成案
1. ChatGPTとは？
ChatGPTの概要とできること
ChatGPTの利用シーン
ChatGPTを使うメリット2. ChatGPTの基本的な使い方
アカウント作成方法
プロンプト入力の基本
出力結果の調整方法3. 効果的なプロンプトの書き方
ロールプレイ
スタイル指定
詳細設定4. ChatGPTの応用事例
クリエイティブな活用事例
ビジネスでの活用事例
教育での活用事例
研究での活用事例5. まとめ
ChatGPTの可能性と課題
ChatGPTを使いこなすためのアドバイス
最後に、さきほどGeminiが出力した構成案をシンプルにして、記事の執筆もまかせてみました。
ChatGPT
Cluade 3
Gemini
どのモデルも情報量が十分ではないですね。これに関しては各モデルともに出力できるトークン数の限界があるため、見出しを小分けにして少しずつ執筆を進めてもらうとある程度まとまった文量で出力してくれます。
構成案の内容から大きく外れていないか、的確な内容になっているかどうかの観点で見てみると、僅差ながらGeminiに軍配が上がりそうかなと思います（なぜかハングル文字が混ざっている部分がありますが……）。
Claude 3とChatGPTは表面的なことしか書けていないですね。ここはプロンプトで具体的にどのようなことに注目しながら書いてほしいかなど、ポイントを具体的に絞ることで改善できるかと思います。
……今回は引き分けということで！
- ▼勝手に採点
- Gemini：☆☆☆–
Claude 3：☆☆☆–
ChatGPT：☆☆☆–
なお、記事の執筆にまるごとAIを使う場合は、「記事を読むユーザーのためになるかどうか」という視点を常に持っておくことが重要です。Google Serch Quality Ratersのガイドラインでは、AIを使用しているコンテンツを具体的に明記していないサイトは最低品質のページとみなすという記載もありましたので、くれぐれもご注意ください。
参考：Search Quality Evaluator Guidelines
まとめ
最後に、各モデルの性能と、今回の比較で感じた所感をまとめました。
| AIモデル | 学習データ | 利用料金 | コンテキストウィンドウ | 機能 | 所感 |
|---|---|---|---|---|---|
| ChatGPT（GPT-4） | 2023年4月までの情報を学習 | 無料（Freeプラン）、20＄（Plusプラン）、25＄（Teamプラン） | 32,768トークン（32Kモデル）、128,000トークン（GPT-4 Turbo） | Webブラウジング、画像認識・生成、ファイル読み込み、 プラグイン利用、カスタマイズ（GPTs）、音声認識（アプリ版） |
安定と信頼のGPT。日本語特化のモデルも先日発表され、 今後さらに期待が高まる |
| Claude 3 | 2023年8月までの情報を学習 | 無料（Sonnet）、20＄（Opus、Haiku） | 20万トークン | ファイル読み込み、画像認識 | 現状、ChatGPTより日本語に強い印象。 画像生成やWebブラウジングできない弱みはある |
| Gemini | 非公表（Webにアクセス可能） | Webブラウザ版は無料（API利用は2024年5月2日から有料化） | 12.8万〜100万トークン（Gemini 1.5 Pro） | ファイル読み込み、画像認識、動画認識、音声認識 | Gemini 1.5 Proは性能が高いが、料金面がネック。 無料のWebブラウザ版はまだいまいち…… |
また、Claude 3のプロンプトのコツを紹介した記事でも解説したとおり、各AIモデルの使用においては最適なプロンプトの作り方や、業務効率化において有効な使い方を検討していく必要があります。
もし自社にノウハウがない場合は、生成AIコンサルティングができる外部パートナーに依頼するのもおすすめです。
弊社LIGでは生成AIを業務や事業で活用したい方を対象とした、生成AIコンサルティングサービスをおこなっています。生成AIやXRの専門家である梶谷健人氏を顧問に迎え、AI専門チームによるAIを活用した戦略策定からプロトタイプ作成、システム実装まで一気通貫で受託しております。
生成AIの活用を検討中の方は、ぜひ下記ページからサービス詳細をご覧ください。
