情報操作から社会を守る：AIを駆使したフェイクニュース・偽情報の検出New
はじめに
生成AIの普及により、偽情報の作り方は大きく変化しました。事実に反する文章を、時間や手間をかけずに大量に生成でき、しかも人間が書いたものと見分けにくいため、SNSでの拡散と相まって、真偽を人手で判断することが難しくなりつつあります。
一方で、内容が事実に反するかどうかを見抜く検出技術も並行して発展を続けています。本記事では、その代表的な手法を4つの視点で整理し、各手法の前提・利点・欠点と、攻撃者を想定したときの回避のされやすさを示します。
偽情報とは
研究分野では、発信者が誤りを認識せず善意で広める誤情報（misinformation）と、受け手を欺く意図をもって作られ拡散される偽情報（disinformation）を区別します。本記事が対象とするのは、後者にあたる意図的な情報操作です。
ただし、本記事で紹介する検出技術は、その意図そのものを見ているわけではありません。意図は発信者の内面にあり、外部からの分析では確認ができません。そこで検出技術は、内容が事実に反するかどうかという、外部から分析が可能な判定に置き換えて検出します。つまり、判定する対象は個々の記事や投稿、あるいはその発信元であり、それらを意図的な情報操作として関連づけるには、最終的に分析者による判断が必要です。
検出アプローチ
偽情報の検出研究では多様な手法が提案されてきましたが、Zhouら[1]は、これらの研究を体系的に整理し、偽情報を次の4つの視点から捉えました。
- 知識：述べられている内容が事実と整合するか
- 文体：書き手の文章の特徴に欺瞞が表れていないか
- 伝播：SNSでの情報拡散のふるまいが、正しい情報とは異なっていないか
- 情報源：発信した媒体やアカウントが信頼できるか
以下では、この4視点それぞれについて仕組み、利点、欠点を述べます。
知識：内容が事実と整合するか
最も直接的なアプローチは、主張の内容を信頼できる知識源と照合し、事実として支持されるかを判定するものです。これは自動ファクトチェックと呼ばれる手法です。
この手法は一般に、証拠検索と含意判定という2段階の処理から構成されます。第1段階は証拠検索で、主張に関連する文を知識源から取り出します。第2段階は含意判定で、取り出した文が主張を支持するか、反証するか、どちらとも言えないかを判定します。含意判定は自然言語推論（Natural Language Inference、NLI）として扱われ、主張と証拠文の対を入力に3クラス分類を行います。
この2段階のタスクを大規模なデータセットとして定式化し、標準的な評価基盤として広めたのが、Thorneら[2]が提案したFEVER（Fact Extraction and VERification）です。FEVERは、Wikipediaの文を改変して作った185,445件の主張に、Supported（支持）／Refuted（反証）／NotEnoughInfo（証拠不十分で判定できない）という3クラスの正解ラベルを付与しており、この3クラスは、そのまま上述の含意判定の出力に対応します。
このアプローチの強みは、判定の根拠となった証拠文を直接提示できる点にあります。なぜ偽であると判定したのかを分析者が確認できるため、判定根拠を検証しながら運用できます。一方で、その性能は知識源の網羅性や鮮度に大きく左右されます。知識源に収録されていない新しい出来事や、現時点で真偽が確定していない主張については、原理上、判定が困難です。さらに、証拠検索と含意判定からなる二段階の処理であるため、前段の証拠検索で必要な文を取得できなければ、後段の含意判定がどれほど高精度であっても、正しい判定には至りません。
実際の運用も、こうした技術的な性質を踏まえて設計されています。英国のファクトチェック団体Full Factでは、メディア監視ツールが検出した主張に対し、ファクトチェッカーが調査する価値（checkworthiness）をスコア化し、優先順位を付けて提示する仕組みを運用しています。この仕組みの目的は、調査の必要性が高い記事や主張を絞り込み、ファクトチェッカーの作業を支援することにあります。2025年2月には、前立腺がんのスクリーニング研究に関する報道を要確認として検出し、ファクトチェッカーが研究著者に照会しました。その後、研究著者と記事の掲載紙がそれぞれ訂正を公表しています[3]。
文体：書き手の文章の特徴に欺瞞が表れていないか
内容の真偽そのものではなく、書き手の文章の特徴から欺瞞を見抜こうとする視点です。人が意図的に嘘をつくとき、その文章には筆者本人も意識しない特有のパターンが表れる、という発想が背景にあります。Zhouらはこれを、法心理学における欺瞞研究、すなわち供述内容の質から真偽を見分けようとする供述分析やリアリティ・モニタリングの系譜に位置づけています。
文体に基づく検出は、文章から特徴量を取り出して分類器にかける、という手順を取ります。具体的には、語彙や統語のレベルの特徴や、心理言語学的な特徴を測る辞書LIWC（Linguistic Inquiry and Word Count）のカテゴリ出現頻度といった特徴量を取り出し、真偽のラベルが付いた文書集合で分類器を学習させます。判定時は、対象の文章から同じ特徴量を計算して分類器に入力します。外部の知識源やSNS上の拡散データを必要としないため、対象とする文章のみで実行できる手軽さがあります。一方で、自動ファクトチェックと違い、提示できる証拠がありません。出力はスコアであり、なぜそう判定されたのかを根拠として示すことはできません。
この手法の有効性は、評価条件によって大きく異なります。Rashkinらは、信頼できる報道（trusted）、風刺（satire）、デマ（hoax）、プロパガンダ（propaganda）の4種類の記事と、PolitiFactが事実確認した政治的発言を対象に、文体的特徴を用いた分類性能を検証しました[4]。記事を4種類に分類する課題では、n-gramを特徴量とする分類器が、学習データと同じ発信源の記事に対してマクロ平均F1で0.91を達成しました。しかし、学習時に含まれていない発信源の記事では、0.65まで低下しています。また、PolitiFactの発言を6段階の真偽ラベル（True／Mostly True／Half-true／Mostly False／False／Pants-on-fire False）に分類するタスクでは、LIWCを含む特徴量を用いても0.22にとどまりました。これは、多数派のクラスを選び続けるベースラインの0.06を上回るものの、十分に高い水準とはいえません。
これらの結果から、同じ発信源を対象とする評価では高い性能を示す一方、発信源や対象が変わると性能が大きく低下することが分かります。文体的特徴を用いる手法は、発信源固有の書き方を捉えている可能性があり、未知の発信源に対する一般化には限界があります。
さらに踏み込んだのが、専門家による記事単位のラベル付けを行ったPotthastらの研究です[5]。検証には、9媒体から集めた1,627件の記事について、BuzzFeedのジャーナリスト4名が分担して1本ずつ事実確認を行ったデータを用いています。党派色の強い媒体（hyperpartisan）と主流媒体の判別では、党派色の強い側のクラスでF1スコアが0.78に達しました。一方、記事の真偽の判別は0.46にとどまり、すべてを偽と判定するだけのベースライン（0.56）を下回りました。また別のコーパスを用いた風刺記事の判別では0.81を達成しています。文体は媒体の立場や記事の種類はよく捉えることができますが、内容が事実かどうかを判定するには不十分です。。
伝播：SNSでの情報拡散のふるまいが不自然か
文章そのものではなく、SNS上での情報拡散のふるまいを手がかりにする視点です。偽情報は、誰がいつ拡散し、どのように広がったかという点で、正しい情報とは異なるパターンを示すことがあります。
この違いを大規模に実証したのが、Vosoughiらの研究です[6]。2006年から2017年までにTwitter上で拡散した噂の連鎖およそ12.6万件を、6つの独立したファクトチェック機関が95〜98%の一致率で下した判定を真偽ラベルとして分析した結果、虚偽の情報は真実の情報より有意に広く、素早く、深く拡散し、この差はボットではなく人間の拡散行動によって生じていることが示されました。虚偽の情報は真実の情報より新規性が高いと受け手に感じられやすく、これが拡散を後押しする一因になっていると考察されています。
拡散の構造そのものを入力として分類器を組んだのが、Maらが提案した木構造再帰ニューラルネットワーク（Recursive Neural Network、RvNN）です[7]。あるツイートへの返信・リツイートが作る拡散構造を木構造とみなして入力し、返信から元投稿へ向かうボトムアップと、元投稿から返信へ向かうトップダウンの2方向に情報を伝播させたうえで、投稿を、噂ではないもの（non-rumor）、偽の噂（false rumor）、真実の噂（true rumor）、未検証の噂（unverified rumor）の4クラスに分類します。Maらは、元投稿を2,300件超集めたTwitter15とTwitter16の2つのデータセットで検証し、トップダウン木構造モデルはそれぞれ72.3%、73.7%の正解率を達成しました。
このアプローチの強みは、知識源を用意する必要がなく、内容を巧妙に偽装した文章にも、拡散のふるまいから手がかりを得られることです。一方で、拡散の情報が十分蓄積するまでは判定ができません。拡散の初期段階では機能しにくく、拡散が蓄積する前に広まり切ってしまえば、判定の機会そのものが生じません。
情報源：発信元が信頼できるか
この方向性は、発信したアカウントや媒体そのものの信頼度を手がかりにしています。発信源に基づく手法は、アカウントの過去の投稿傾向や信頼度を判定に組み込みます。
Balyらは、個々の投稿ではなく発信源そのものの信頼性を予測する手法を提案しました[8]。ニュースメディアが配信した記事の言語的特徴、そのメディアについてのWikipedia記述、SNSアカウントの情報、URLの構造、Webトラフィックといった複数の特徴を組み合わせ、1,000以上のメディアについて事実性と政治的偏向を予測しました。事実性を高・中・低の3クラスに分類する課題で約65%、政治的偏向を左派・中立・右派の3クラスに集約した課題で約69%の正解率を達成しました。多数派のクラスを選ぶだけのベースラインがの正解率が約51%であり、偏向は極左から極右までの7段階の細かい分類では約40%にとどまります。これらの数値はいずれも学習・評価に使ったデータセット内でのものです。
個々の記事ではなく発信源そのものを判定単位にするため、新しい記事が投稿されるたびに真偽を判定し直す必要がないという強みがあります。一方で、この視点は本質的にメディア・アカウント単位という粗い粒度でしか判定できません。個人アカウントやインフルエンサー、ボットネットのような組織化されていない発信源には、この手法はそのままでは当てはめにくい性質があります。
この視点が実際に回避された例が、ロシア発の偽情報キャンペーン「Doppelgänger」です。EU DisinfoLabは2022年9月、Bild、The Guardian、RBC Ukraineなど少なくとも17の実在メディアを模した偽サイトの運用を明らかにしました[9]。ドメインの取得パターンや見た目を実在メディアに似せ、信頼できる発信源になりすますことで、発信源の信頼度という手がかりを無効化する手口です。突き止めたのは自動分類器ではなく、EU DisinfoLabがQurium Media Foundationと共同で行った人手の調査でした。偽サイト群の結びつきは、記事の見た目ではなく、ドメインの登録先レジストラやサイトをホストしている事業者をたどることで明らかにされています。
既存の検出技術に対する脅威と課題
ファクトチェックの前提となる知識源そのものが汚染される脅威もあります。知識源は証拠検索より上流にあるため、ここが汚染されると、証拠検索と含意判定の両方がまとめて影響を受けます（図1）。
図1 知識源汚染攻撃の侵入点（著者により作成）
Duらは、言語モデルで生成した偽の証拠文書をFEVERの知識源に混入させる攻撃を検証し、複数の検証モデルの正解率が73.05%→28.59%、70.76%→29.02%、75.92%→51.86%まで大きく低下することを示しました[10]。
同種の脅威は、LLMに外部知識を検索させて回答させる検索拡張生成（Retrieval-Augmented Generation、RAG）でも報告されています。少量の毒テキストの注入で攻撃者が意図した誤答を出させる手法が示されており、詳細は別稿「外部知識を汚染する罠：RAG（検索拡張生成）へのポイズニング攻撃」および「LLMに対するポイズニング攻撃」を参照してください。
検証や回答の根拠として使う知識源が汚染され得るという前提は、知識源に依存する仕組みを設計するうえで無視できません。同じ構図は、他の3つの視点にもあります。攻撃はいずれも判定器そのものに向けられておらず、判定器が依存している入力に向けられています。依存先が視点ごとに違うため、狙われる位置も違います（図2）。ただし根拠の強さは一様ではありません。知識源の汚染のように精度低下まで実測されているものと、実在のキャンペーンとして観測されているもの、そして仕組みから導けるだけで実証例のないものが混在しています。
図2 4つの視点ごとの攻撃対象（著者により作成）
これらを踏まえると、単一の検出器で真偽を断定する設計には限界があります。今後は、知識・文体・伝播・情報源という複数の手がかりを組み合わせ、確度が低いときには分析者の確認に委ねる運用が現実的な方向性と考えられます。ただし、留保された事案が分析者による確認待ちとして際限なく積み上がる場合、確認体制の処理能力が新たな制約になります。
まとめ
本記事では、偽情報の検出手法を、Zhouらの4つの視点である、知識・文体・伝播・情報源に沿って整理しました。それぞれ判定に必要な前提が異なり、示されている数値は特定の知識源やデータセット内での値です。測っているものが真偽ではなく媒体の立場である場合もあります。さらに、これらの手法はいずれも判定器そのものではなく、判定器が依存する入力を狙われます。知識源の汚染はその典型で、依存先が視点ごとに異なるため、守るべき対象も異なります。確実に真偽を見分ける単一の手法は現在のところ存在しませんが、これらの技術と客観的な判断を組みあわせて、偽情報を検出することが重要です。
参考文献
[1] Zhou, Xinyi, and Reza Zafarani. “A Survey of Fake News: Fundamental Theories, Detection Methods, and Opportunities.” ACM Computing Surveys 53.5 (2020): 1-40.
[2] Thorne, James, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. “FEVER: a Large-scale Dataset for Fact Extraction and VERification.” Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT). 2018.
[3] Corney, David. “How AI Can Help Fact Checkers.” Full Fact, February 11, 2025.
[4] Rashkin, Hannah, Eunsol Choi, Jin Yea Jang, Svitlana Volkova, and Yejin Choi. “Truth of Varying Shades: Analyzing Language in Fake News and Political Fact-Checking.” Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP) (2017): 2931-2937.
[5] Potthast, Martin, Johannes Kiesel, Kevin Reinartz, Janek Bevendorff, and Benno Stein. “A Stylometric Inquiry into Hyperpartisan and Fake News.” Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL) (2018): 231-240.
[6] Vosoughi, Soroush, Deb Roy, and Sinan Aral. “The Spread of True and False News Online.” Science 359.6380 (2018): 1146-1151.
[7] Ma, Jing, Wei Gao, and Kam-Fai Wong. “Rumor Detection on Twitter with Tree-structured Recursive Neural Networks.” Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL) (2018): 1980-1989.
[8] Baly, Ramy, Georgi Karadzhov, Dimitar Alexandrov, James Glass, and Preslav Nakov. “Predicting Factuality of Reporting and Bias of News Media Sources.” Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP) (2018): 3528-3539.
[9] Alaphilippe, Alexandre, Gary Machado, Raquel Miguel, and Francesco Poldi. “Doppelgänger – Media Clones Serving Russian Propaganda.” EU DisinfoLab, September 27, 2022.
[10] Du, Yibing, Antoine Bosselut, and Christopher D. Manning. “Synthetic Disinformation Attacks on Automated Fact Verification Systems.” Proceedings of the AAAI Conference on Artificial Intelligence 36.10 (2022): 10581-10589.