コード生成ツール「GitHub Copilot」「Amazon CodeWhisperer」「Codium」を比較してみた

Technology部のJoshです。

2023年現在、AIを活用したコード生成ツールへの関心が高まっています。

• GitHub Copilot
• Amazon CodeWhisperer
• Codium など

これらはより迅速に、より正確にコードを書くことをサポートしてくれます。

パッと見では大きな違いがないように見受けられますが、実際の案件でどのツールを採用するといいのかを検討すべく、比較をおこないました。

※すべて2023年7月現在の情報です。

コード生成ツール紹介

1.GitHub Copilot

https://github.com/features/copilot

もっとも有名なコード生成ツール「GitHub Copilot」は、OpenAIのGPT-3言語モデルを使用してコードを補完します。これはGitHubのCodespacesで使用されている技術と同じです。Codespacesでは、エンジニアがクラウド上でコードを記述できます。

※現在は一部のユーザーにβ版として提供されています。

2.Amazon CodeWhisperer

https://aws.amazon.com/jp/codewhisperer/

「Amazon CodeWhisperer」は、AWSのLex言語モデルを使用してコードを補完するツールです。Amazon LambdaやAmazon S3などのAWSサービスと連携するために提供されています。

Amazon CodeWhisperer特有の機能としては、コードのデバッグを支援する機能「Code Catalyst」が挙げられます。

※現在は現在プレビュー版であり、すべての開発者が無料で利用できます。

Codium

https://codeium.com/

「Codium」はオープンソース・無料で使えるため、費用をおさえたいエンジニアにとっては嬉しい選択肢です。GitHub Copilotと同じGPT-3言語モデルを使用しています。

Codium特有の機能としては、アルゴリズムについて質問できるチャット機能が挙げられます。

ツール比較表

GitHub Copilotはもっとも機能が豊富ですが、同時にもっとも高価です。一方Codiumは、オープンソース・無料で使えるためGitHub Copilotの代替ツールと言えます。また、Amazon CodeWhispererはAWSサービスに特化して設計されている点が特徴です。

実験

実際に3つのツールの性能を比較する実験をおこないました。

Pythonで「create a function that can loop 1 to 100 and print the sum of all numbers　(1 から 100 までをループし、すべての数値の合計を出力できる関数を作成してください)」という同じ指示を出したところ……

Github Copilot

Github Copilotは指示に基づいてコードを生成することができ、正確かつ迅速に応答しました。ただし、最初に推奨されるコードが常に正しいとは限らないため、左や右の矢印キーを押してより適切なコードを選択する必要があります。

AWS CodeWhisperer

CodeWhispererもGithub Copilotと比較してわずかな遅延はあったものの、高速かつ正確な解決策を提供できました。

Codeium

Codeiumも高速かつ正確な解決策を提供できましたが、左または右の矢印キーを使用して別のオプションを選択しても、推奨されるコードが正しくないことがありました。この場合、目的の結果を得るにはコードを少し修正する必要があります。また、Github Copilotと比較するとわずかな遅延がありましたが、AWS CodeWhispererと比較して速度は同等でした。

※ただし、これらのテスト結果はAIの回答に基づいており、他のデバイスでは異なる結果が得られる可能性があります。また、ツールはつねに進化しているため、本実験の結果は将来的に変わる可能性があります。

結論

• 強力で機能が豊富なツールを探している場合は、GitHub Copilot
• AWSサービスに特化したツールを探している場合は、Amazon CodeWhisperer
• 無料でオープンソースのツールを探している場合は、Codium

ニーズに合わせて、最適なツールを選びましょう。

また、LIGでは生成AIコンサルティング事業をおこなっています。ぜひ気軽にご相談ください。

生成AIコンサルティング事業の詳細へ