AIに書かせた文章を、AIにチェックさせる。いまはよく聞く使い方ですよね。ところが「この記事に間違いがないか確認して」と1回頼むだけだと、たいてい「おおむね正確です。細かい表現を2点だけ」といった返事が返ってきます。
私(UMEO CREATE・伊藤)は2026年8月、すでに自社サイトで公開していた1本の記事を、4つのAIに分けてチェックさせました。1つめは事実だけ、2つめは読者がつまずく所だけ、3つめは反論だけ、4つめは法律と表示だけ。それぞれに「それ以外は見ないでください」と伝えています。
返ってきた指摘は約30件。照らし合わせて本当に直したのは12か所でした。その中には、紹介していた会計ソフトの「無料プラン」を、実際より使えるように書いていた誤りも入っていました。
この記事では、AIのファクトチェックでよく言われる手順を整理したうえで、当社が実際にやった「役割分担」のやり方と、そこで分かった落とし穴を、修正前と修正後の原文つきでまとめます。社内でAIに資料や記事の下書きを書かせていて、「チェックもAIに任せたいが、どこまで信じていいか分からない」という方に向けて書いています。
この記事の目次(7項目)
AIのファクトチェックで、よく言われる4つの手順
「AI ファクトチェック」で調べると、解説記事にはおおむね次の手順が並んでいます。
1. 文章を「確かめられる事実」と「意見」に分ける。 数字・日付・固有名詞・制度の説明が、確かめる対象です
2. AIに確認を頼むとき、何を照らし合わせるかを指定する。 「公式の情報と照らして、事実の誤りがないか見てください」のように頼みます
3. 複数のAIに見せて、食い違う所を洗い出す。 AIごとに見落としの癖が違うためです
4. 最後は人が一次情報で確かめる。 省庁・公式サイト・原本など、元の情報に当たります
どれもその通りで、当社もこの4つは守っています。ただ、実際にやってみると、2と3の間にもう1段あることが分かりました。同じ文章を「全部見て」と複数のAIに渡すより、見る場所を1つずつ割り振ったほうが、見つかるものが変わるのです。
4つのAIに、見る場所を1つずつ割り振った
チェックしたのは、2026年8月25日に公開した「レシートのAI読み取りは仕事になるか?」という記事です。会計ソフトの紹介リンク(紹介料が出るもの)を含む記事だったので、間違いがあれば読者に損をさせかねません。
AIの割り振りは次の通りです。
| 担当 | 見るものだけ | 見ないもの |
|---|
| 事実担当 | 数字や実例が、社内の記録と一致するか | 読みやすさ・法律 |
| 初心者担当 | 想定読者がどこでつまずくか、用語の説明があるか | 事実の正誤 |
| 反論担当 | 専門家や見込み客から、どう突っ込まれるか(良い点は書かない) | 良い点の評価 |
| 法務・表示担当 | 広告の表示、制度の説明が正しいか | 文章の質 |
道具は、パソコンの中で複数のAIを同時に動かせる仕組み(当社では Claude Code という道具を使っています)です。4つのAIは同じ原稿を受け取りますが、互いの答えは見ていません。
頼み方で効いたのは、次の4点です。
- 「それ以外は一切見ないでください。ほかの担当が見ます」と書く。 「全部見て」と頼むと、項目が多すぎてどれも浅くなり、最初に見つけた1件で満足して返してきます
- 重大度を4段階で付けさせる。 致命的・重い・中くらい・軽い、です
- 根拠にしたファイルや資料の場所を書かせる。 確かめられない指摘は「確認不能」と書かせます
- 問題がない所は書かせない。 褒め言葉で字数を使わせないためです
レシートを読み取り機にかけながら確かめる事務担当の2人(画像はAIで生成したイメージです)
役割を分けたから見つかった3つの誤り
約30件の指摘のうち、「1つのAIに全部見せていたら、たぶん出てこなかった」と思うものが3つありました。
1. 「無料プランで試せる」は古い情報だった(法務・表示担当)
修正前の原稿には、こう書いていました。
freee会計は無料プランで読み取りを試せるので、まず10枚ほど、経費精算のレシートを読ませてみてください。
法務・表示担当が、ここを指摘しました。freeeの公式ヘルプには、プラン未契約(無料プラン)の一部機能の提供を2024年から順次終了する、というお知らせが出ていました。無料プランは残っていても、使える機能は基本的なものに絞られています。確実に機能を試せるのは、有料プランの30日間の無料お試しです。紹介料が出るリンク先を、実際より有利に読める書き方をしていたことになります。修正後はこうです。
freee会計は30日間の無料お試しで読み取りを試せるので、まず10枚ほど、経費精算のレシートを読ませてみてください。
数文字の違いですが、読者が「無料のまま試せる」と思って登録し、使いたい機能が使えなかったら、こちらの信用が飛びます。なお、プランの中身は変わることがあるので、この記事を読んで試す方は、必ずfreeeの公式ページで最新の条件を確かめてください(freee公式ヘルプ:プラン未契約による一部機能の提供終了について)。
2. インボイスの話が1行もなかった(反論担当)
反論担当は「税理士が読んだら、実務を知らない人の記事だと判断する」と書いてきました。理由は、レシートの読み取りの記事なのに、インボイス(適格請求書)の登録番号と、8%・10%の税率区分に一言も触れていないことです。ここは読み違いがそのまま納税額に効く場所です。
これは「間違い」ではなく「抜け」なので、事実担当には見つけられません。書いてある文を確かめる役は、書いていないことには気づきにくいのです。修正後の記事には、「金額と日付は任せてよいが、登録番号と税率区分だけは人が確認する」という節を足しました。
3. 「体感で半分以下」に記録がなかった(事実担当)
修正前には、こんな一文がありました。
手入力していた頃と比べて1件あたりの処理時間は体感で半分以下になります。
事実担当が社内の記録を当たったところ、この数字を測った記録はありませんでした。実感としてはあったのかもしれませんが、記録がない数字を、記事の中で効果の根拠として書くことはできません。修正後は、この一文を消し、「どれだけ短くなるかは、扱う枚数と科目の複雑さ次第。導入前に1件あたりの入力項目数を数えておくと、効果が測れます」と書き換えました。
3つのAIが、別々に同じ所を指した
もう1つ、役割分担ならではの手がかりがありました。電子帳簿保存法(領収書などを電子で保存するときのルールを決めた法律)について、事実・反論・法務の3つが、互いの答えを見ないまま同じ箇所を指摘したのです。
修正前は「紙の保存ルールもこの機会に整える」とだけ書いていました。実際には、紙を捨てられるのはスキャナ保存の要件を満たしたときだけで、入力の期限を過ぎたレシートは紙のまま保管が必要です。視点の違う担当が別々に同じ所を指したので、優先して確かめるべき箇所だとすぐに分かりました。
ただし、3つが一致したことは、正しさの証明ではありません。 AI同士が同じ誤解をしている可能性もあります。一致は「先に確かめる場所」を教えてくれる目印で、制度の中身が合っているかを公式の要件と照らすのは、別の工程です。
指摘をそのまま直してはいけない。誤検出の実例
ここが、いちばん伝えたいところです。AIの指摘をそのまま全部反映すると、前より悪くなることがあります。
今回、事実担当は「紹介リンクを含む記事なのに、広告であることの表示(PR表記)が公開ページから消えている」と、重大な問題として報告してきました。慌てて公開中のページを開くと、表示はきちんと出ていました。
原因は、事実担当が原稿ファイルだけを見て判断したことです。当社のサイトでは、PR表記は原稿に書くのではなく、ページを組み立てるときに自動で差し込む作りにしています。原稿には無くて当然でした。1つのAIだけにチェックさせていたら、この指摘を信じて、存在しない問題を直しにかかっていたと思います。
同じ日に、チェックを取りまとめていたAI自身も似た誤りをしました。公開ページの中で「免責の一文が入っていない」と判定したのですが、ページの文章には、改行位置を調整するための目に見えない印(<wbr>というタグ)が挟まっていて、文字列で探しても見つからなかっただけでした。見た目の文章と、ファイルの中身は一致しないことがある。検索の前に余分な印を取り除いてから数える、と手順に足しています。
そこで当社は、指摘を受け取ったあとに必ず次の5段を通します。
1. 照合する。 各指摘を実物(公開ページ・原本)に当てて、誤検出を落とす。特に「〜が無い」という指摘は自分で確かめる
2. 重複をまとめる。 複数の担当が同じ所を指したら1本にし、確度が高いものとして扱う
3. 食い違いを決着させる。 担当同士の意見が割れたら、実物で決める
4. 重い順に直す。 致命的なものから
5. 直したあと、もう一度実物で確かめる
この5段を通した結果が、約30件中12か所の修正でした。修正前と修正後の原稿を並べて数えると、変わった箇所は12です。
ノートパソコンで原稿を見直す人(画像はAIで生成したイメージです)
AIは何体並べればいいのか
役割分担の話をすると、「なら10体、20体と並べたほうがいいのでは」と聞かれます。参考にしたのは、研究者の落合陽一さんが公開しているソフトの開発記録です。GitHub(プログラムの公開場所)上のochyai/vibe-localに技術報告が同梱されていて、複数のAIでコードを監査したラウンドごとの記録が載っています。
| ラウンド | AIの数 | 修正した件数 |
|---|
| 1回目 | 20体 | 29件 |
| 4回目 | 40体 | 23件 |
| 7回目 | 4体 | 29件 |
| 8回目 | 5体 | 22件 |
40体のラウンドの修正件数は、4体のラウンドより少なくなっています。後のラウンドほど残っている問題が減るので、単純な比較はできません。それでも、数を増やせば見つかる件数が増える、という関係にはなっていないことは読み取れます。
当社の結論は、「何体並べるか」より「見る場所が重なっていないか」です。記事なら上の4役、提案書や見積なら「数字の検算」「お客様の立場で稟議が通るか」「前提条件の抜け」の3役、というように、成果物ごとに役割の組み合わせを決めています。
その後の運用でも、同じ傾向が出ています。
- 客先向けの資料(第8版): 22件の指摘のうち19件を採用。採用しなかった3件のうち2件は、表紙にページ番号を付けないなどの意図した仕様でした。仕様は資料の構成案に書いておくと、次の監査で同じ指摘が出なくなります
- 自社のYouTube動画の台本: 数字6つは、引用元の資料と全部一致しました。それでも台本は直しになりました。「原因は、たいていルール」と書いた主張が、引用した調査の結論と合っていなかったからです。数字が合っていても、その資料が何を結論にしているかまで照らさないと、引用は間違いになり得ます
社内で始めるときの3つのコツ
最後に、社内でAIのファクトチェックを始めるときに、最初から押さえておくとよいことを3つ挙げます。
- AIを増やす前に、役を決める。 1体に「全部見て」と頼むより、2体に「事実だけ」「抜けだけ」と分けるほうが効きます。会社で使っているAIが1つなら、同じAIに「担当を変えて」別々に頼むだけでも違いが出ます
- 反論だけを担当する役を必ず入れる。 良い点を書かせない役です。書いていないこと(今回のインボイス)に気づくのは、たいていこの役です
- 最後の照合は人がやる。 AIの指摘は「候補の一覧」です。公開ページや原本、公式の資料に当てて、本当に直すものだけを選ぶ。この工程を省くと、存在しない問題を直すことになります
当社では、記事・提案書・見積書・請求書など、お客様や世間の目に触れるものを出す前に、この分担のチェックを通す決まりにしています。AIに下書きを任せるほど、チェックの仕組みのほうが大事になる、というのが2か月ほど続けてみての実感です。当社が自社の事務や発信でAIをどう使っているかは、自社の実践のページにまとめています。
まとめ
- AIのファクトチェックは「複数のAIに見せる」だけでなく、見る場所を1つずつ割り振ると、見つかるものが変わる
- 当社の記事1本では、指摘約30件から12か所を直した。古い「無料プランで試せる」の記述、インボイスの抜け、記録のない「体感の数字」が見つかった
- AIの指摘をそのまま直してはいけない。 公開ページに存在する表示を「消えている」と報告する誤検出が実際に出た
- AIの数は多ければよいわけではない。公開されている監査記録でも、40体のラウンドが4体のラウンドより多く直せたわけではなかった
- 最後の照合は、人が一次情報でやる
【群馬・北関東の中小企業・ひとり社長のAI導入をサポート】
UMEO CREATE(ウメオクリエイト)では、群馬県(高崎・前橋・太田・伊勢崎・吉岡町など)を中心に、中小企業や個人事業主・ひとり社長様向けの「AI導入・業務自動化・DX伴走コンサルティング」を行っています。
「自社の業務でもAIを使える?」「何から手をつければいいかわからない」「面倒な事務作業を自動化したい」といったご相談は、お気軽に公式LINEまたはWebサイトのお問い合わせフォームよりご連絡ください。