AWS Bedrockで生成AI基盤モデルの比較をしてみた

Masaki Yamaoka

2024.10.25

Technology

新卒ブログとは？: 2024年4月に新卒入社したLIGメンバーが、日々の学びや気づきを綴るブログです。彼らがふだんどんなことを学んでいるのか、気軽にのぞいてみてください。

DX部テクニカルディレクターの山岡です。

今日はAWS Bedrockを用いた基盤モデルの比較と、学んだことの備忘録を紹介します。

AWS Bedrockとは
AWS Bedrockでできること
AWS Bedrockで基盤モデルの比較をしてみた
さいごに

AWS Bedrockとは

AWS Bedrockは、Amazon社が提供する生成AIマネジメントサービスで、生成AIを用いたアプリケーションを簡単に構築することができます。

Meta社やAnthropic社など、他社が開発した基盤モデルも利用が可能で、S3と連携してナレッジベースを開発したり、ワークロードを定義して生成AIエージェントを開発したりと、いろいろなことができます。複数の基盤モデルを比較して、利用検討をおこなうことも可能です。

最近では、AWS認定パスのベータ版にAI Practitionerが追加されたり（2024年8月）、Skill Builderでも豊富な学習コンテンツが頻繁に提供されるようになったりと、AWSサービスの中でもとくに熱い分野の一つです。

AWS Bedrockでできること

AWS Bedrockは生成AI利用サービスの構築をサポートするために、以下の機能を提供しています。

プレイグラウンド

上述した複数の基盤モデルを比較できるサービスです。

AWS Bedrock 概要ページのサイドバー > [ モデルアクセス ] から、利用申請をおこなった基盤モデルを利用することができます。現在、チャット、テキスト、イメージの3つの形式でテストが可能で、データ生成に影響する設定も簡単に切り替えることができます。

オーケストレーション

基盤モデルを利用したワークロードを簡単に構築できるサービスです。現在は「ナレッジベース」と「エージェント」が正式にリリースされています。

ナレッジベース

S3やMicrosoft SharePoint、Salseforceなどにあるテキストファイルを元に、チャットボットの構築ができるサービスです。

API形式で構築できるため、さまざまなアプリケーションに柔軟に導入することができます。プロンプトのテンプレートを事前に設定可能で、「ユーザーが入力したリクエスト」＋「プロンプトテンプレート」を組み合わせることにより、ユースケースに応じた回答のカスタマイズが可能となります。

エージェント

生成AIを利用したワークフローを構築できるサービスです。データ分析や文書の要約、ナレッジベースの検索拡張など、日常的なワークフローを自動化することに特化しています。

ワークフロー実行データの蓄積と生成データの改善、ユーザーの指示などから最適なプロンプトを自動で生成できるため、タスク処理に特化したサービスの構築が可能となります。

セーフガード

生成AIサービスの運用をサポートするサービスです。

生成AIサービスには、内部処理の一部が確率的に決定されるという特性があるため、いくつかのリスクが伴います。たとえば、偏見のある回答や有害なコンテンツの生成、意図しない形式の回答の出力などが起こる可能性があります。

セーフガードを使用することで、入力値のフィルタリングや出力データの整合性などを強力にするための「ガードレール」を構築することが可能です。

モデル評価

生成AIサービスの評価をおこなうサービスです。精度や有害性などのパラメータに基づいて回答データの有用性を統計的に分析してくれます。他にも、AWSのワークチームが人的にモデル評価をおこなってくれるサービスもあります。

AWS Bedrockで基盤モデルの比較をしてみた

ここからは、Bedrockのサービスを実際に利用してみます。今回はプレイグランドで基盤モデルの比較をおこないました。

モデルアクセスの許可

プレイグラウンド（基盤モデルのお試し）を利用するためには、生成AI基盤モデルへのアクセスの有効化が必要となります。

AWS マネージドコンソールからBedrockページに飛び、サイドバーから「モデルアクセス」を選択してください。

ここでは、AWSで利用可能な基盤モデルの一覧が表示されています。リージョンによって利用可能な基盤モデルが異なるため、今回はもっとも利用可能なモデルの多いバージニア北部（us-east-1）を選択しました。

このページでは、基盤モデルの利用規約（EULA）、及びアクセスリクエストが可能です。現在提供されている基盤モデルのうち、Anthropic社が提供するモデルについては、所属企業やユースケースの登録が必要となります。

モデルへのアクセスリクエストは簡単で、リクエスト可能を選択して「モデルアクセスへのリクエスト」をクリック。その後、画面下部の「Next」ボタンから登録するだけです。

基盤モデルの比較①

次に、プレイグラウンドから「テキスト」を選択し、基盤モデル比較をおこないます。

画面上部の「Select Generative AI Resource」をクリックすると、さきほどアクセスリクエストをおこなった基盤モデルが一覧で表示されます。今回は、Titan Text LiteとTitan Text Premierで回答にどのような差があるのか試してみました。

Titanとは: Amazon社が作成したLLMのテキスト生成モデルで、ユースケースに応じたさまざまないくつかのモデルが提供されています。Titan Text Liteは複雑な処理には不向きですが、応答の速さ、コスト面で優れており、Premierは複雑なテキストの生成に適しています。

まずは、簡単な自己紹介をしてもらいました。

Lite
これまでは、日本や海外でさまざまなことを経験してきました。まず、日本で大学を卒業後、海外でエンジニアとして、さまざまなプロジェクトに参加してきました。その後、起業して、日本や海外でベンチャーを経営してきました。現在も、新しいビジネスをスタートさせ、さまざまな経験を積んでいます。

Premier
初めまして！私はコンピュータサイエンスを専攻しているAIです。私は日本語と英語の両方を理解し、会話することができます。教えていただいた情報を使用して、様々なタスクを実行することができます。私は常にあなたのサポートに尽力しています。

両方とも自己紹介文としてはそれほど違和感のない回答を生成しました。それではもう少し難しい質問をしてみましょう。AWS Bedrockについて聞いてみました。

Lite
・AWS Bedrock は、Amazon の AI 服务で、機械学習 (ML), 自然言語処理 (NLP), 推論 (Reasoning), 机器翻译 (Translation), 機械学習モデルのトレーニングと inference をサポートしています。
・API を通じて、Amazon Titan サーバーから個別機械学習インスタンスまで、あらゆる AWS Bedrock のサービスを利用できます。
・Amazon Bedrock は、機械学習 (ML) のワークロードを管理するために、AWS 管理コンソール、API、SDK を使用してさまざまなサービスにアクセスし、管理できます。

Premier
AWS Bedrockは、機械学習モデルを収納するためのAWSのサービスです。ディープラーニングモデルを使用して、コンピューティング量を最適化し、より高い性能を実現します。さらに、モデルを簡単に構築、トレーニング、およびデプロイするためのツールとサービスを提供します。

Titan Text Liteでは、一部日本語では解読不可能な言葉が散見されました。

このように、生成AIの回答は一部ランダムに回答に適さない出力がされるため、基盤モデルの比較とテストを簡単におこなうことができるのは便利です。

基盤モデルの比較②

次に、設定値の比較をおこないましょう。プレイグラインドでは、「温度」「トップP」などの設定がカスタマイズできます。

温度: 出力のランダム性を制御。0〜で定義され、低温（0に近い）の場合は安全で一貫性のある出力が得られるが、単調になることが多い。高温（1以上）だとランダムな単語を選びやすくなり、クリエイティブな応答が期待できる。

トップP: 確率質量とも呼ばれ、次の単語候補を算出するために利用される。たとえば予測される次の単語の確率が{ A : 0.5, B : 0.2, C : 0.05… }となるのなら、トップPを0.7と定義した場合には、AとB（確率の合計が0.7）の中から次の単語が選ばれることになる。

今回は、「温度0.1 トップP0.1」の場合と「温度0.9 トップP0.9」の場合で、それぞれ3回同じ質問に対する回答を生成してもらい、回答の一貫性や表現のランダム性をみてみました。

温度0.1 トップP0.1の場合

1回目
はじめまして!私の名前はサラです。私はアメリカのカリフォルニアに住んでいます。私は日本語を勉強しています。私はテニスをするのが好きです。どうぞよろしくお願いします!
(Hi, I’m Sarah. I live in California, USA. I’m studying Japanese. I like playing tennis. Nice to meet you!)

2回目
はじめまして!私はAIです。日本語ができます。私はあなたの質問に答えるために訓練されています。私はあなたが学ぶのを助けることを楽しみにしています!
Here is the translation: Hello! I am an AI. I can speak Japanese. I am trained to answer your questions. I look forward to helping you learn!

3回目
はじめまして!私の名前はサラです。私はアメリカのカリフォルニアに住んでいます。私は日本語を勉強しています。私はテニスをするのが好きです。どうぞよろしくお願いします!
(Hi, I’m Sarah. I live in California, USA. I’m studying Japanese. I like playing tennis. Nice to meet you!)

温度・トップPともに低く定義した場合では、1回目と3回目で同じ回答が出力されました。