ボットと人間を区別できますか？半数の人は区別できません

2024年、デジタル環境は根本的に変化し、自動ボットが全ウェブトラフィックの51%を占めるようになりました¹。この変化は、AIとLLM（大規模言語モデル）の急速な普及によってさらに加速し、ボットの構築と拡張がこれまで以上に容易になりました。特にソーシャルメディアボットによって状況が深刻化しており、主要プラットフォームでは年間63億件の偽アカウントと111億件のスパムコンテンツが削除されています²。闇市場では、ソーシャルメディアの偽アカウントがわずか0.08ドルから購入できることを考えれば、これらの数字はそれほど驚くべきものではありません³。

ソーシャルメディアボットがインターネットユーザーに与える影響を理解するため、マルメ大学のインタラクションデザイン専攻の修士課程の学生とともに、1週間にわたる画期的な実験”Bot or Not?“⁴を実施しました。

Surfsharkの研究者がボットと人間を区別するテストを分析して得た結果は、ボットがオンライン上で私たち、特に高齢者、政治的問題や社会的問題について自身の意見を激しく主張する人、そしてFacebookやThreadsを主なプラットフォームとして利用している人に、いかに強い影響を与えているかを示しています。

実験の参加者 

“Bot or Not?“⁴ ゲームは、本物のインターネットユーザーの投稿とボットが生成したテキストを見分けるユーザーの能力をテストするために設計された時間制限付きのインタラクティブシミュレーションです。このゲームでは参加者にシミュレートされたソーシャルメディアのコメント欄を見せ、どのコメントがボットによって書かれたものかを特定させました。ユーザーは120秒以内に、4つのトピック（2つの「日常的」なトピック：データセンターとピザの具としてのパイナップル、および2つの「政治・社会的」なトピック：移民問題と女性の権利）から、10件のボットコメントを特定することを求められました。

710名の参加者が、ボットと人間を区別するテストを受け、結果の共有に同意しました。

“Bot or Not?”⁴ ゲームは現在、オンラインで誰でもプレイできるため、あなたも参加できます。

半数の人はボットと人間を区別できない

このゲームは難易度が高く、最終的にソーシャルメディア上のAIボットを見抜くことに成功したのは、わずかに過半数を超える程度でした。全参加者層を通じて、参加者の53%がゲームに勝利しました（人間をボットと誤認した回数よりもボットを正しく見抜いた回数の方が多かった）が、ほぼ半数（47%）が失敗しました。

しかし、参加者がなぜ失敗したか、あるいは成功したかを正しく理解するために、私たちは2つの具体的な行動指標に注目しました。 それは、ボット検出と精度です。

• ボット検出：正しく見分けたボットの数を測定します。これは、ボットが生成したテキストを正しく見分ける割合を示します。ボット検出スコアが低いほど、ボットを見分けることができない可能性が高くなります。
• 精度：あるコメントがボットによって書かれたという判断が正しかった割合を測定します。 正確性のスコアが低いほど、本物の人間をボットとして誤って報告してしまう可能性が高くなります。これは危険であり、本物の人間がソーシャルメディア上で投稿を禁止されたり、バンされたり、インターネット上で誹謗中傷を受けたりする原因になりかねません。

710人の全サンプルの平均ボット検出率は58%、平均精度は66%でした。しかし、データを人口統計的に分類すると、明らかな差が見えてきます。

若い参加者ほどボットを見分ける能力が高く、年齢が上がるほどその能力が下がります

年齢は、ユーザーがインターネットを安全に利用する能力を示す最も有力な指標の1つです。データからは、ユーザーが40歳に達した時点で「世代間格差」が生じていることが分かりました。

• 最年少の参加者（20歳以下）が最もボットを見分ける能力が高く、全ボットの65%近くを特定し、正答率は71%を超えました。これは、本物の人間をボットと誤認する割合が低かったことを意味します。
• 20代から30代にかけてはパフォーマンスが比較的安定していましたが、41～50歳の年齢層では急激に低下しました。このグループのボット検出率はわずか42%に低下し、精度も59%まで落ちました。50歳以上の参加者のパフォーマンスは若干高い程度でした。つまり、年齢が高いほど、隠れたボットを見つけるのに苦労し、本物の人間を誤って報告してしまう可能性が高くなります。

ボットを見分けるのが得意なのはRedditとXのユーザー、Facebookのユーザーは苦手

ユーザーに主に利用しているソーシャルメディアプラットフォームについても尋ねた結果、最も頻繁に利用されているチャネルには多様なボットハンターが集まっていることが分かりました。

• 最もボットを見分ける能力が高いのはRedditとXのユーザーでした。これらのプラットフォームを主に利用しているユーザーのボット検出率は、68%で同率首位となりました。ボット検出だけでなく、精度においてもXのユーザーは優れていました（71%）。テキストが中心で議論が活発なこれらのプラットフォームの性質上、ユーザーは優れたボット検出能力を持ってるのかもしれません。
• 興味深いのは、TikTokをメインに利用するユーザーが最もボットに対して慎重であり、72%という全プラットフォーム中最高の精度を誇りました。TikTokユーザーは、ボット検出率こそ61%と、RedditとXのユーザーよりわずかに低かったものの、ボットの問題を感知した際の精度はより高いという結果でした。
• 偽アカウントの識別において最も苦戦したのはFacebookユーザーでした。ボット検出率は47%と、著しく低く（Threadsユーザーの40%に次ぐ）、正答率は主要プラットフォームの中で最も低い55%となりました。これは、これらのユーザーがソーシャルメディアボットを見分ける能力が低かっただけでなく、人間をボットと誤認してしまう可能性が最も高かったことを意味します。

最も優れたボットを見分ける能力が最も高いのはソーシャルメディアを適度に利用しているユーザー

ソーシャルメディアに多くの時間を費やすほど、偽アカウントを見抜く能力は向上するのでしょうか？はい、ただし限度があります。

• 「ソーシャルメディアを利用しない」と回答したユーザーは、ボット検出率40%、正答率58%という結果で、ほぼ手探りの状態でした。
• 1日に数回ソーシャルメディアをチェックしているだけで、これらの数値は上昇します（それぞれ59%と67%）。しかし、「ソーシャルメディアを頻繁に使っている」からといって、ソーシャルメディアボット問題に対抗する超能力が得られるわけではありません。ソーシャルメディアを「ほぼ常に」利用しているユーザーは、週に数回フィードを確認するだけのユーザー（正答率70%）よりも、本物の人間を誤ってボットと判定する割合がわずかに高かったのです（正答率63%）。

感情が先走ると、ボットにつけ込まれます

この実験は4つの異なるトピックに分けて行われました。2つは大多数の人々にとってセンシティブではなく、感情的になりにくいトピック（データセンターと、パイナップルをピザの具にするかどうか）であり、他の2つはより意見が分かれやすく感情的になりやすいトピック（移民問題と女性の権利）でした。

このソーシャルメディアボット実験の結果は、目を見張るものでした。データは、デリケートな政治的または社会的な問題が関わると、実際にボットを見分ける能力が低下し、本物の人間をボットと誤認してしまう可能性が高まることを示唆しています。

センシティブなトピックでなければ、冷静に判断でき、実際にボットをかなり正確に見分けることができます。

• データセンター： この比較的技術的な話題では、ユーザーは71%という最高のボット検出率（ボットの多くを特定）を達成し、76%という高い正答率も示しました。これは、直接的に感情が煽られない状況では、より多くのボットを見分け、本物の人間をボットと誤認してしまう可能性が低くなることを示唆しています。
• パイナップルをピザの具にするかどうか：大衆文化に関する少し白熱した議論であっても、ユーザーは集中力を維持し、ボットの64%を見分け、69%の正答率を示しました。

シミュレーションがより感情を煽るような、意見が分かれる問題に移ると、参加者のボット検出能力は低下しました。

• 移民問題： 話題がより政治的なものになると、ボット検出率は54%に低下しました。これは、ソーシャルメディアボットのほぼ半数が、参加者をだますことに成功したことを意味します。正答率も63%に低下し、人間がボットとして非難されてしまう状況起きやすくなることが示されました。
• 女性の権利： このトピックでは、ボットを特定する力が最も大きく低下しました。ボット検出率は49%まで急落しました。これは、ユーザーが見抜いたボットよりも見逃したボットの方が多いことを意味します。さらに悪いことに、正答率は61%まで低下し、参加者が人間の投稿をボットに生成されたものと誤認する傾向が強まったことが示されました。

ボットから身を守る

実質的にオンライン上でボットと人間の区別がつかなくなってしまった現代において、Surfsharkが推奨するボット対策を紹介します。

• 反応する前に一呼吸置く。 生成AIボットは、感情的な反応や衝動的な反応を餌食にします。ある投稿を見て怒りや恐怖を感じたり、すぐに反応したくなったりした場合、返信やシェアをしたり、リンクのクリックしたりする前に数分間待ちましょう。
• 実際に会ったことのない相手から送られてきた不審なリンクは絶対にクリックせず、ファイルもダウンロードしない。
• 一方的なDMに注意する。見知らぬ人から突然、恋愛、投資、または「またとないチャンス」についてのメッセージが届いたり、会話をWhatsAppやTelegramに移すよう求められたりしたら、それはよくあるボット詐欺のパターンです。
• 個人情報を守る。実際に会ったことのない相手に、DMで電話番号、住所、個人を特定できる情報、または金融情報を共有しないでください。
• 信頼する前に確認する。「友人」、「有名人」、または「公式」アカウントから、疑わしい要求があった場合は、別の手段で確認してください。電話をかける、認証済みのアカウントを確認する、本人しか知らないような質問をするといった方法があります。
• 「バズりそうな」コンテンツに注意する。感情を煽り、すぐにシェアするよう要求してくるようなものは、ボットファームからのものかもしれません。再投稿する前に出典を確認してください。
• プラットフォームに組み込まれた保護機能を使用する。2要素認証を有効にして、DMを送れる相手を制限し、不審なアカウントは通報またはブロックしてください。
• アプリとデバイスを常に最新の状態に保つ。多くのボット詐欺は、古いソフトウェアの脆弱性を悪用します。

結論

このボット検出実験の所見は、デジタルリテラシーとオンラインの安全性に対する私たちのアプローチに疑問を投げかけています。実験参加者の53%がゲームをクリアしました（人間をボットと誤認した回数よりもボットを正しく見抜いた回数の方が多い）。しかし、回答者のほぼ半数にあたる47%というかなりの割合が、このゲームをクリアできませんでした。これは、テキストのニュアンスを分析したり、機械的な口調を見抜いたりする能力だけに頼っていては、ボットを特定できないことを示唆しています。

隠れたボットを見抜く能力は、年齢、感情の状態、関与するトピック、ソーシャルメディアに費やしている時間、使用するプラットフォームに大きく左右されます。

手法

このボット検出研究では、インタラクティブなシミュレーション“Bot or Not”をプレイした710人の参加者のデータを分析しました。このシステムとゲームプレイは、世界最大の見本市であるミラノデザインウィークで開催された世界各国の大学を対象としたデザインコンペ「UNFOLD」展に向けて、マルメ大学のインタラクションデザイン専攻の学生によって制作されました。1週間の一般公開期間中、来場者はこの体験に参加するよう招待されました。

参加者のほぼ半数（47%）が20代（21～30歳）でした。10代および比較的若い参加者（20歳以下）が全体の8%を占め、31～40歳のユーザーが14%を占めました。それ以上の年齢層も均等に分布しており、41～50歳および50歳以上はそれぞれ、サンプルの7%を占めました（参加者の17%は年齢を回答しませんでした）。

参加者はコンテンツモデレーターとして、シミュレーションされたソーシャルメディアのコメント欄でボットが生成したコメントを特定するタスクをこなしました。参加者は、データセンター、パイナップルをピザの具にすること、移民問題、女性の権利という、感情的なセンシティブさが異なる4つのトピックのいずれかについて、120秒間でコメントを審査しました。

参加者のパフォーマンスは、主に以下の2つの行動指標を使用して測定された：ボット検出率と精度：

• ボット検出は、ユーザーが実際にボットであると正しく識別できた割合を測定し、ボットを見逃さずに特定する能力を算出します。
• 精度は、ユーザーの指摘の信頼性を測定し、本物の人間を誤ってフラグ付けすることを避ける能力を算出します。

データセットに対して探索的記述分析を実施しました。これには、全710人の参加者サンプルにおけるボット検出スコアと精度スコアの生データの平均を算出し、基準値を確立することが含まれていました。次に、これらの平均を、人口統計的要素（年齢層、主要なソーシャルメディアプラットフォーム、使用頻度）および環境的要素（4つのトピック）ごとに分類しました。この分析により、「世代間格差」やプラットフォーム間の差の影響といったマクロレベルの行動傾向をマッピングした後、順序変数および連続型変数に対してより厳密な数学的制御を適用できました。

“Bot or Not?”4ゲームは現在も稼働中であり、データの収集は現在も継続されています。今後もデジタルの直感を試す参加者の数は増えていくため、私たちは結果の分析を続け、更新された情報を共有していきます。

本調査の完全版資料については、こちらをご覧ください。

“Bot or Not?”ゲームの舞台裏をご覧ください：

参考

¹Bad Bot Report (2025)

²Surfshark (2026).Surrounded by scams: two major social media platforms remove more fake accounts than they have active users（詐欺の蔓延：2つの主要なソーシャルメディアプラットフォームがアクティブユーザー数よりも多くの偽アカウントを削除）

³Euronews (2025). Cheap online fake accounts make misinformation a thriving underground market（安価なオンライン偽アカウントが誤情報を生み出す：闇市場の隆盛）

⁴Bot or Not? The Bot Detection Game（Bot or Not?：ボット検出ゲーム）