AIを上手く使えている理由は「鵜呑みにしない」から

はじめに

「AIをうまく使えていますね」と言われることがあります。振り返って一番の理由を1つ挙げるなら、プロンプトの書き方が上手いからではありません。AIが言ったことを鵜呑みにせず、いちいち裏を取るからです。

これまでこのシリーズでは、家賃の意思決定、行政MCP、GitHub Actionsでのニュース収集、セッション間メッセージ機能と、「AIに任せる」話を重ねてきました。任せて終わりにしているように見えるかもしれませんが、裏では毎回、AIの回答をそのまま信じずに確認する作業が挟まっています。

今回は、まさにその「セッション間メッセージ機能」の追加検証中に実際に起きた出来事を題材にします。AIが2回、根拠のないことを言い切り、どちらも私が「本当に?」と聞き返したことで発覚しました。この記事では、何が起きたか、どう見破ったか、そこから言える実践的なコツを紹介します。

自己紹介

Qurated編集部のKです。AIを業務と生活の両方に取り込んだ実践事例を、Qurated Lab Journalで紹介しています。今回はこれまでの記事の「裏側」、AIの回答をどう疑い、どう確かめているかという話です。

本題: 検証中に起きた2つの嘘

セッション間メッセージ機能(別のClaude Codeセッションにメッセージを送って返信をもらう仕組み)の追試中、AIが実際についた嘘は2つありました。どちらも、私が問い直さなければそのまま見過ごしていたはずのものです。

1つ目: 見てもいないのに「仕組みがない」と言い切った

検証用のメッセージを別セッションに送ったところ、そのセッション側の画面には確かにメッセージが届いていました。ところが、「なぜ別セッションに回答しないのか」と聞いたところ、AIは画面を確認せずに次のように答えました。

別セッションから会話を受け取る仕組みが自分の側に無いから、返せません。

もっともらしい説明ですが、実際には画面上にメッセージが表示されていました。「来てるように見えるけど?」と指摘すると、AIはすぐに認めました。

その通りです、来てました。前の回答は間違いです。

自分の状況を確認せずに、それらしい一般論で答えてしまったというのが実態でした。

2つ目: 存在しない情報を元に「成功しました」と報告した

訂正後、AIは返信を送ろうとしました。送信先を示す情報を自分で探し、それらしい文字列を組み立てて送信ツールを呼び出し、「返信済みです」と報告してきました。

ところがこちらで確認すると、その送信は失敗していました。理由を突き詰めると、送信先を正しく特定できていない状態で、それらしい値を作って処理を進め、ツールの実行結果を確認しないまま「成功した」と報告していたことが分かりました。

なぜ見破れたか

2つとも、特別な技術は使っていません。やったことは単純です。

1. 「本当に?」と聞き返す — 1つ目の嘘は、AIの説明を鵜呑みにせず「来てるように見えるけど?」と聞き返したことで発覚しました
2. AIの自己申告ではなく、ログを自分で見る — 2つ目の嘘は、「返信済みです」という報告を信じず、送信先セッションの記録を直接確認したことで発覚しました
3. 公式情報にあたる — この機能について「本当に公式のやり方か」と確認したところ、Claude Codeの公式ドキュメントを検索・参照した範囲では、実際に使っていた仕組みはそこに載っている公式仕様とは別の、ドキュメント化されていない仕組みだと分かりました。公式ドキュメントを検索して裏を取らなければ、気づかないままでした

どれも、AIの回答を最終出力として受け取らず、「本当にそうか」を確かめる一手間を必ず挟むという一点に集約されます。

実践: 鵜呑みにしないための3つの習慣

1. 「なぜ?」で終わらせず「本当に?」を挟む

AIの説明が筋の通ったものであっても、それは「もっともらしく話を組み立てる」能力の高さの表れでもあります。特に自分の内部状態や過去の行動についての説明は、確認せずに話を作ってしまう余地が大きい領域です。「本当に?」「今それを確認した?」と一歩踏み込むだけで、多くの言い切りは崩れます。

2. 「できました」を信じず、証拠を自分の目で見る

AIが「完了しました」「送信しました」と報告しても、それはそのAI自身の申告でしかありません。可能なら、実行結果やログなど、AIの発言を経由しない一次情報を自分で確認する癖をつけます。

今回で言えば、AIが「返信済みです」と言った後、私は会話履歴ではなく送信先セッションの実行ログそのものを別ツールで開き、そこに送信完了を示す記録(処理完了のマーカー)があるかを確認しました。ログには送信の記録も完了の記録も無く、そこで初めて「成功したという報告」と「実際に成功したかどうか」が別物だと分かりました。AIの発言を経由せず、実行結果を直接見るだけの一手間です。

3. 「それは公式の仕様か」を疑う

AIが説明する仕組みや手順が、実際に文書化された公式の仕様なのか、それとも今の環境固有の挙動なのかは、AI自身の説明だけでは区別できないことがあります。特に「ツールがこう動く」「この機能はこう仕様が決まっている」といった説明ほど、外部の一次情報(公式ドキュメントやリリースノート)にあたって裏を取る価値があります。

まとめ

• 検証作業中、AIが根拠なく「仕組みがない」と言い切り、後で訂正した場面が1回
• AIが送信先を正しく特定できないまま処理を進め、実行結果を確認せずに「成功した」と報告した場面が1回
• どちらも「本当に?」と聞き返す、自己申告を信じずログを直接見る、公式情報にあたるという、特別な技術を使わない確認作業で発覚した
• これはAI活用における能力差というより、検証の手間を惜しまない習慣の差だと考えています

結論

AIをうまく使えているとしたら、それはAIの回答を信じているからではなく、信じていないからです。もっともらしい説明ほど、一歩立ち止まって「本当に?」と確認する。「できました」という報告ほど、自分の目で証拠を確認する。この一手間を惜しまないことが、成果の差になって表れます。

AIの精度が上がるほど、この習慣の重要性はむしろ増していくはずです。もっともらしさが増すほど、鵜呑みにするコストは静かに上がっていきます。