GPT-5.1 vs Gemini 2.5 Pro を実測比較してわかった、「小規模開発者に優しいのはどっち?」
- 久保田(compkakari)
- 5 日前
- 読了時間: 2分

少し開発者向けの記事となります。
私のようにAIでコードを書いている人の参考になれば幸いです。
最近、GPT-5.1 と Google Gemini の生成速度を比較するため、API を使ったベンチマーク測定を行いました。
もともとは Gemini 3 Pro を使う前提で準備していたのですが、実際に API を呼び出してみると アクセス権がなく利用できない ことが判明。そのため、今回は Gemini 2.5 Pro に切り替えて計測を進めることにしました。
私の感想としては、Google の AI が注目を集めている一方で、小規模な開発者には chatGPT のほうが扱いやすいと感じました。
■ GPT-5.1 はスムーズに計測が進んだ
GPT 側では、必要なコードを書いて実行すると問題なく動作し、
生成時間
出力トークン数
tokens/sec
といった必要な情報を取得することができました。計測作業としては特に詰まる部分はありませんでした。
■ 一方の Gemini は、ドキュメント通りに進まない場面があった(と思われる)
Gemini 2.5 Pro の API を使ったところ、Google のドキュメントに記載されている設定が実際には使えない(渡すとエラーになる) という場面がありました。
具体的には、
generation_config
max_output_tokens
といった項目が API 側で受け付けられず、エラーで実行が止まってしまう状況がありました。
SDK を最新にアップデートしても改善しなかったため、現時点では、出力量の制御は行わずに進める という形を取りました。あくまで今回AIでコードを生成する過程で経験したことですが、詳細までは確認していません。
■ Gemini は出力トークン数を返さなかったため、chars/sec で比較することにした
Gemini 2.5 Pro を実行すると文章は返ってくるのですが、GPT のような 出力トークン数(output_tokens) が取得できませんでした。
そこで、今回は 出力文字数(chars)を計測し、文字数 ÷ 時間 = chars/sec という形で比較を行いました。
実際の計測結果は以下の通りです。
2724 chars
17.8 秒
約 153 chars/sec
文章はしっかり返ってきたので、ベンチマークとしての比較自体は問題なく続けられました。
■ まとめ
Google のモデル自体は強力ですが、小規模な開発者がすぐに試したいという場面では、chatGPT のほうが扱いやすいというのが今回の正直な感想です。




コメント