「Geminiは事実確認が弱い」という体感を検証する

読者から「GeminiはChatGPTやClaudeに比べて事実確認・ハルシネーション(AIがもっともらしい誤情報を生成すること)の面で弱い印象がある」という声が寄せられました。当サイトはAIサービスの順位づけはしません。この記事は、その体感を否定も肯定もせず、なぜそう感じられるのかを一次情報から冷静に切り分けます。

最終更新: 2026年7月29日

2026年7月29日時点の情報です。各社公式ヘルプ・研究機関の公開情報・X(旧Twitter)上の反響(伝聞)にもとづきます。

1. その体感は、出発点として正しい

結論から言うと、「Geminiは事実確認が弱いと感じる場面がある」という体感は、否定すべきものではありません。同時に、この体感だけを根拠に「Geminiは他社より劣る」と一般化することもできません。この記事はその間を埋める作業です。

2026年7月末時点でX上を確認したところ、Geminiの事実確認をめぐる話題は否定的な声と肯定的な声がほぼ同数見つかりました(いずれも伝聞であり、当サイトが個々の事例を検証したものではありません)。検索語の選び方によって結果は変わりうるため、これはX全体の正確な世論分布を示すものではありません。

2. なぜ体感がばらつくのか — 比較の条件が揃っていない

「Geminiは弱い」「いや改善した」という声が両方存在するのは、多くの場合、比較している条件がそもそも違うためだと考えられます。主な要因は次の4つです。

モデルの階級が違う。同じ「Gemini」「ChatGPT」「Claude」というブランド名でも、無料版・有料版・API版では搭載されているモデルの世代・規模が異なります。旧モデルでの体験談を現在の無料版に当てはめることはできません。
検索機能のオン・オフが違う。Web検索を使って回答した場合と、モデル単体の知識だけで答えた場合とでは、事実確認の精度が変わります。どちらの状態での体験かが語られないまま比較されることが多くあります。
言語が違う。後述しますが、ハルシネーションの起きやすさは言語によって変わることが報告されています。英語での評価をそのまま日本語利用に一般化することはできません。
プロンプト(指示文)のわずかな違い。同じ質問でも言い回しを変えるだけで正確性が変わりうることが研究で報告されています。

この4つが絡み合っているため、「〇〇は事実確認が弱い」という体感は、実際には「特定の条件下でのある1回のやり取り」についての体感であることがほとんどです。それ自体は貴重な観察ですが、ブランド全体の優劣の証拠として扱うには条件が揃っていません。

3. 2026年7月時点、各社の無料枠が出すモデルは同じ階級ではない

まず押さえておきたいのは、「無料で使えるもの同士」を比べていても、同じ性能階級のモデルを比べているとは限らないという事実です。各社とも、上位の推論モデル(時間をかけて複雑な問題を解くモデル)と、速度重視の軽量モデルを併売しており、無料枠でどちらがどれだけ使えるかはサービスごとに設計が違います。

たとえばGoogleの場合、無償版のWorkspace for Nonprofitsでも上位のPro系モデルは使えますが、可変の上限が設定されており、上限に達した後は高速モデルで会話を続けることになります。当サイトの運営メンバーも、Pro系を数回使ったところで上限に達したという実感がありました。この点は別記事「Geminiが使えない」は半分だけ正しいで詳しく扱っています。

つまり「無料枠で試して比べた」という比較は、実際には上位モデルと軽量モデルを比べていた可能性があります。同じサービスでも、上限に達する前と後では応答の質が変わり得ます。体感がばらつく大きな理由の一つは、この階級の違いにあると考えられます。

なお、各社の無料枠に含まれるモデルの名称と上限は、数か月単位で変わります。当サイトは特定時点のモデル名を断定的に掲載することを避けます。実際に何が使えるかは、各社の公式プランページ(出典欄にリンクを掲載しています)と、ご自身のアカウントのモデル選択欄でその都度ご確認ください。

4. 「事実性のベンチマーク」は何を測っているのか

AIの「正確さ」を示す指標として、SimpleQA・FACTS・HHEMといった名前を見かけることがあります。これらは同じ「事実性」を測っているように見えますが、実際に測定している対象も、運営している主体も異なります。

SimpleQA(OpenAIが公開): 短い、答えが1つに定まる質問への正答率を測る試験です。
FACTS Grounding / FACTS Suite(Google DeepMindが公開): モデルに与えた文書にどれだけ忠実に回答したか、共通の検索APIを使った調査タスクなどを評価します。
HHEM(第三者のVectara社が公開): 文書を要約させたときに、元の文書にどれだけ忠実な要約になっているかを測るリーダーボード(順位表)です。

ここで重要なのは、運営元がベンダー自身か第三者かという違いです。SimpleQAはOpenAI自身が、FACTSはGoogle DeepMind自身が公開している指標である一方、HHEMは両社と利害関係のないVectara社が公開しています。どちらが優れているという話ではなく、「誰が測ったか」を踏まえて数字を読む必要がある、ということです。

加えて、これらの指標には公式・研究の両方から限界が指摘されています。ベンチマークの問題文がモデルの学習データに混入すると成績が実力以上に良く見えてしまうため、FACTSやHHEMは一部のデータを非公開にする対応を取っています。SimpleQAについても、ラベルの誤りや話題の偏り、重複があったとして「SimpleQA Verified」という再構築版が作られています。1つのベンチマークを不変の基準として扱えない理由がここにあります。また、Vectaraの表はハルシネーション率とは別に「回答率」(質問に対してそもそも答えを返した割合)も掲載しています。答えを避けがちなモデルと積極的に答えるモデルを、ハルシネーション率の数字だけで比べることはできません。この記事では、こうした限界を踏まえ、あえて個別の数値は扱いません。

5. 日本語での比較はさらに難しい

日本語に特化したAIの事実性ベンチマークは存在します。日本語固有の知識や、迷信・陰謀論など誤答を誘いやすい分野を含む604問からなるJTruthfulQA、日本の学習指導要領を参考に13科目を評価するpfgen-bench、Science Tokyo・産業技術総合研究所などによるSwallow LLM Leaderboard、NII・LLM-jpによるNejumi Leaderboardなどが公開されています。

ただし2026年7月29日時点で確認した限り、Gemini・ChatGPT・Claudeの「日本で一般に使える無料版」を、同一条件・同一の日本語の問題・検索機能の有無を揃えたうえで継続的に比較している学術的または独立第三者の公開リーダーボードは見当たりませんでした。日本語のベンチマークが存在しないのではなく、現行の無料版3サービスを公平に横並びで比較した結果が見当たらない、という状態です。

さらに、ハルシネーションの起きやすさは言語によって変わることが研究で報告されています。英語での評価結果を、そのまま日本語での利用に当てはめることはできません。

6. 3社とも「誤りうる、検証せよ」と言っている

見落とされがちですが、Gemini・ChatGPT・Claudeの3社は、いずれも公式ヘルプで「AIの回答は誤ることがあるため、利用者が検証すべきだ」と案内しています。1社だけの注意書きではありません。

Google: Geminiアプリは不正確な回答を返すことがあるため、回答を再確認するよう案内しています。
OpenAI: ChatGPTを批判的に受け止め、重要な情報は信頼できる情報源で検証することを推奨しています。存在しない引用や研究、参照先を生成する場合や、誤っていても自信ありげに見える場合があるとも説明しています。
Anthropic: Claudeを唯一の真実の情報源として頼るべきではない、と案内しています。

ここで注意したいのは、注意書きの表現の強弱(言い回しが控えめか踏み込んでいるか)を、そのまま実際の誤り率の差として読んではいけないという点です。表現の違いは各社の文章スタイルの違いである可能性があり、性能の優劣を意味しません。3社がそろって「唯一の情報源にしない」と言っている、という事実そのものが、この記事の一番の土台です。

7. 精度を上げるためにできること

各社は事実確認の精度を上げる方法も公式に案内しています。共通しているのは「根拠資料をAIに与える」「引用元を自分で開いて確認する」という2つの工夫です。

Google: NotebookLM(Gemini Notebook)は、アップロードした資料を情報源として回答し、インラインで引用を表示します。Google自身も、資料にもとづく回答(source-grounding、元資料に沿って回答させる方式)はハルシネーションの危険を減らしうるが、元資料との照合は引き続き必要だと説明しています。
OpenAI: 精度が重要な場面ではSearchやDeep Researchの利用を案内しており、引用リンクを直接開いて確認するよう推奨しています。ChatGPT Searchは無料利用者にも提供され、引用とSourcesパネル(参照元の一覧)を表示します。
Anthropic: Web検索機能は引用と原文へのリンクを付ける一方、引用元の原文を確認するよう求めています。Claude Projectsは無料利用者にも提供されており、資料をプロジェクトの知識として追加できます。

ただし、資料を与える方式には共通の限界があります。「与えた情報源への忠実性」を高める手段であって、元資料そのものが古い・誤っている・必要な箇所が検索で拾われない、といったケースまでは保証しません。また、「出典URLを付けて」とAIに頼むことと、システムが実際にウェブ検索や文書取得を行うことは別の話です。表示された引用元は必ず開いて、主張が実際にその文書に書かれているかを確認する必要があります。

実務者の間では、「どれが一番正確か」を競うよりも、1つのAIを唯一の情報源にせず役割分担する、複数のモデルでクロスチェック(相互に照合)する、最後は人間が確認する、といった運用の工夫が広がっているようです。ベンチマークの数値が根拠として語られることもありますが、出典が公式・第三者・個人のいずれかが混在しているため、当サイトはそうした数値そのものを記事の根拠にはしていません。

8. 組織として「誰に何を使わせるか」を決める難しさ

読者が本当に困っているのは、おそらくこの部分です。「一番正確なAIを選ぶ」という決め方は、条件を揃えた公平な比較が存在しない以上、現実には成立しにくいと考えられます。代わりに、団体側で確認できる事実にもとづいて決めやすい軸を挙げます。

扱うデータの性質。寄付者情報や支援対象者の個人情報をAIに入力してよいかは、各サービスの契約条件・データ保護の扱いによって決まります。
すでに使っているスイートとの相性。Google Workspaceを使っているならGeminiが業務フローに組み込みやすい、といった運用上の理由は有効な判断材料です。
無料枠の上限。上限に達したときに業務が止まらないか、あらかじめ確認しておく価値があります。
日本語での使い勝手。実際に職員が使う言語での応答の読みやすさ・自然さです。
「検証する手間」を職員が回せるか。どのAIを使っても、回答を鵜呑みにせず確認する運用が必要です。その手間を業務フローに組み込めるかどうかも判断材料になります。

そして、「1つに決めきらない」という選択肢もあります。下書きと裏取りを別のツールに分ける運用は、実務者の間で広く行われています。当サイトは特定のAIサービスの優劣を判定する立場を取りません。この記事の目的は、判断材料を整理してお渡しすることに徹しています。AIの基礎的な使い方は AI活用ガイド、Googleが非営利団体向けに無料提供しているAI研修と個別サポートは Google非営利向けAI研修のトピックもあわせてご確認ください。

9. 出典リンク

第1章で触れたX上の反応は伝聞情報であり、当サイトが個々の事例を独自に検証したものではありません。当サイト運営メンバーの実感として記載した内容(3章)も一事例であり、利用日時・選ばれたモデル・検索機能の状態・質問内容によって結果は変わりうるものです。当サイトは特定のAIサービスの優劣を判定する立場を取っておらず、この記事も順位づけを目的としていません。掲載内容の誤りにお気づきの際は、お問い合わせからご指摘いただけると助かります。