これまでメインで使うAIチャットをChatGPT Plus、Claude Proと順番に乗り換えてきました。なので今月はGoogleのGemini Advancedを1ヶ月間使ってみたので、その感想を書いてみます。
Gemini Advancedの特徴
Gemini Advancedにすると現最上位モデルのGemini 1.5 Proが使えます。Gemini 1.5 Proは、Googleによると既存のモデルよりコーディング、論理的推論、ニュアンスの異なる指示に従うことなどの複雑なタスクを処理する能力が大幅に向上しているとされています。また100万トークンのコンテキスト・ウィンドウ(Large Context Window)で長文が読解できます*1。
無償版は画像のみアップロード可能ですが、Gemini AdvancedではテキストやPDFも対応しています。コンテキスト・ウィンドウと合わせて書籍データを読み込ませて、書籍全体の要約を作成・質問することも可能です。他のサービスでは冒頭だけ読んで返事してくるようなことがありますが、Gemini Advancedはサボらず後半も読んでくれます。
特定のタスクや業界に合わせたカスタムAIモデル(「Gem」と呼ばれる)を作成できます。これはChatGPTのGTPsに相当しますが、カスタム指示のテキストを挿入するだけの簡易的なものです。無償版はGemの利用のみですが、Gemini AdvancedではGemの作成も可能です。
Gemini Advancedは、GmailやDocsなどのGoogle Workspaceアプリケーションと統合されており、AIによる支援で電子メールや文書を作成することができます*2。Android端末やGoogle Messages向けの機能もあるのですがそれは試していません。
画像生成
Gemini Advancedは、テキストに基づいて画像を生成する機能を提供しています。これはImagen 3というモデル名で呼ばれています*3。サイトには"Coming soon"と書かれていますが、すでに使えるようです。
ドラゴンの画像を作って
1ヶ月間使ってみた率直な感想
会話セッション数を数えたところ209回でした。テクノロジーから趣味、日常生活まで、幅広いトピックについて会話をしました。
例えば、英語コンテンツの要約やWeb開発のトラブルシューティング、アーキテクチャの相談、ブログの下書きの校正、メールの返信やフリマアプリに登録する商品説明の作文など、多岐にわたる質問や相談をしました。
本ブログ記事でも最初にタイトルから目次案を考えてもらったり、これまでのGeminiの会話タイトル一覧からカテゴリ分析をしてもらったりしました。
良い点
アップデートが活発で、新しい機能が追加される頻度が高い。更新履歴はupdateページに記載されています。後発なので、他のAIモデルとの差別化を図るために、新しい機能を積極的に追加しているのかもしれません。
Googleのサービスとの連携。YouTubeのURLを送ると、その動画に関する情報を教えてくれます。「@YouTube https://youtu.be/XXX
結論だけ教えて」などとリクエストすると、動画の内容を要約してくれます。それが妥当な結果であるかは別として、このような機能は便利です。
悪い点
ハルシネーション
リリース当初よりはマシになりましたが、まだ普通にハルシネーションを起こします。OSSライブラリの有無とかニュース情報とか、ChatGPT、Claudeに同じ質問を投げると発生しないレベルのものです。
なので真偽を判断する必要があるタスクは投げないようにしています。Perplexity*4のようにソースのURLを出そうとすることもありますが、なぜかセルフ検閲して削除してきます。何それ。
日本語読解能力
あとは砕けた文章を理解できないことが多いです。日本語サポートの問題かもしれませんが。
私はAIチャットと会話をするうちに、指示だけを素早く入力して効率化のために独自の綾波レイ構文のようなプロンプトを発展させていっているのですが、それが通じないことが多いです。ChatGPTやClaudeは、この手の砕けた日本語文章も理解してくれることが多いです。GPT-3.5ベースだったGitHub Copilotも当初は苦手だったので、今後Geminiでも改善される可能性もあるかもしれません。
長いコンテキストの会話
Large Context WindowがチャットのUXにまで活かせていない。会話の往復が多いときには、どうしても不自然な回答が返ってきます。途中で制約を加えても、それが反映されていないことが多いです。文書の要約→質問を繰り返す時などは、特に問題が顕著です。ただこの領域はNotebookLM*5がうまく機能するので、そちらを使うことにしています。
Google Workspace連携
Google Workspace連携は個人的には使いにくいです。なぜなら、Google Workspaceに関係ない会話でもこの機能が呼び出されることがあるからです。書類作成っぽい文章に反応してdocを作り出したり、検索できそうな話題からGmailを探し出したりして邪魔でした。なので私は途中で機能をオフにしました。
他のAIモデルとの比較
ChatGPT、Claudeと比べると満足する回答が得られないことが多いです。すでにベンチマーク性能はこれらと良い勝負をしていると思いますが*6、実際のサービスのUXにおいてはまだまだ改善の余地があると感じました。
例えば、JSONデータの整形を依頼した際、Gemini Advancedは「私は言語モデルなのでできません」と回答してきました。一方同じプロンプトでChatGPTは期待どうりに結果を返してくれました。
コーディング性能についても大きな問題はないが、使用しているツールセットが古い印象を受けます。例えばフロントエンド関連のコーディングは他のモデルが初手Reactを使ってくれるのに対して、Gemini AdvancedはDOM APIを使ってきます。これそのものが悪いわけではないですが、他のサービスではウェブ制作なのか開発なのかをコンテキストで判断して出し分けてくれます。
Python やNode.jsのコードで組み込むサードパーティのモジュールも、独特なチョイスを入れてきます。
またClaude Artifacts*7やv0.devのようなコードのプレビューを表示してくれる機能もありません。
ほかには、前述のとうり出典と検索結果の要約が知りたいときはPerplexityに軍配が上がります。
Gemini Advancedを使う上での注意点
プランが抱き合わせ。Gemini Advancedを使うためには、Google OneのAI プレミアム プランに加入する必要があります*8。価格で劣ることはないですが、他のAIモデルを使っている場合は、そのプランとの比較が必要です。
Gemini Advancedが向いている人・向いていない人
おすすめの人
ChatGPT、Claudeに飽きた人。新しいAIサービスを試してみたい人。
ただし開発者の方は、Google AI Studioを使えば新しいモデルを試すことができるので、そちらを使うことをお勧めします。
おすすめしない人
ChatGPT、Claudeレベルの回答を求める人。
まとめと結論
1ヶ月間使ってみた総合的な評価としては、まだまだ改善の余地があると感じました。
私は毎月まだ試したことのないAIモデルを使ってみることにしています。次回はどのモデルを試そうかと考えています。良いモデルがあれば教えてください。
*1:Google Gemini update: Access to 1.5 Pro and new features https://blog.google/products/gemini/google-gemini-update-may-2024/
*2:Gemini for Google Workspace | ビジネス向けの生成 AI ツール https://workspace.google.com/solutions/ai/
*3:Google Gemini updates: Custom Gems and improved image generation with Imagen 3 https://blog.google/products/gemini/google-gemini-update-august-2024/
*4:Perplexity Proを1ヶ月使ってみた - laiso https://laiso.hatenablog.com/entry/2024/06/16/172509
*5:NotebookLM便利活用情報 - laiso https://laiso.hatenablog.com/entry/2024/06/17/214155
*6:Big news – Gemini 1.5 Flash, Pro and Advanced results are out! https://x.com/lmsysorg/status/1795512202465845686
*7:What are Artifacts and how do I use them? | Anthropic Help Center https://support.anthropic.com/en/articles/9487310-what-are-artifacts-and-how-do-i-use-them
*8:Google One AI プレミアム プランと機能 - Google One https://one.google.com/intl/ja/about/ai-premium/