（1）　偽・誤情報の流通・拡散等の課題及び対策

「ディープフェイク」とは、「ディープラーニング（深層学習）」と「フェイク（偽物）」を組み合わせた造語で、本物又は真実であるかのように誤って表示し、人々が発言又は行動していない言動を行っているかのような描写をすることを特徴とする、AI技術を用いて合成された音声、画像あるいは動画コンテンツのことをいう。近年、世界各国でこれらディープフェイクによる情報操作や犯罪利用が増加しており、その対策には各方面からの取組が行われているものの、いたちごっこの様相を呈している。

ア　ディープフェイクによる課題

（ア）AIにより生成された偽・誤情報の流通・拡散

生成AIの進歩により、非常に高品質なテキスト、画像、音声、動画を生成することが可能になり、リアルで信憑性の高い偽・誤情報を作成することが可能になった。ディープフェイク技術を用いれば、実在する人物が実際には言っていないことを本当に話しているかのような動画を簡単に作成することができる。我が国でも、生成AIを利用して作られた岸田総理大臣の偽動画がSNS上で拡散した事例が発生した9。2024年1月1日に発生した能登半島地震の際にも、東日本大震災の時の津波映像や静岡県熱海市で2021年に起きた大規模土石流の映像などをあたかも能登半島地震と結びつけた投稿がSNS上で多数投稿され、大量に閲覧・拡散された10。2020年には、新型コロナウイルス感染症と5G電波との関係を謳う偽情報が携帯電話基地局の破壊活動を招く11など社会的影響も生じさせている。

SNSなど様々なデジタルサービスが普及し、あらゆる主体が情報の発信者となり、インターネット上では膨大な情報やデータが流通するようになったが、このような情報過多の社会においては、供給される情報量に比して、我々が支払えるアテンションないし消費時間が希少となるため、それらが経済的価値を持って市場で流通するようになる。このことはアテンション・エコノミーと呼ばれ、プラットフォーム事業者が、受信者のアテンションを得やすい刺激的な情報を優先表示するようになるなど、経済的インセンティブ（広告収入）により偽・誤情報が発信・拡散されたり、インターネット上での炎上を助長させたりする構造となっている。

偽・誤情報の拡散は世界的に問題となっており、2024年1月、世界経済フォーラムは、社会や政治の分断を拡大させるおそれがあるとして、今後2年間で予想される最も深刻なリスクとして「偽情報」を挙げた12。特に2024年は、米国をはじめ、バングラデシュ、インドネシア、パキスタン、インド等、50か国余りで国政選挙が予定されている。既にインドネシア大統領選の際のディープフェイク動画の流布や、米大統領選の予備選の前に偽の音声でバイデン米大統領になりすます悪質な電話等、生成AIを利用したディープフェイクによる情報操作の事例が確認されている（図表Ⅰ-4-1-3）。

（イ）その他犯罪利用

生成AIが、情報操作のみならず、犯罪に利用されるケースも増えている。米国OpenAIのチャットボット（自動会話プログラム）であるChatGPTに用いられているものと同じAIが悪用され、「悪いGPT（BadGPT）」や「詐欺GPT（FraudGPT）」と呼ばれる不正チャットボットによってフィッシング詐欺メールが量産されている。このようなハッキングツールは、OpenAIがChatGPTを公開した2022年11月の数か月後には闇サイト上で確認されるようになり、ChatGPT公開後の12か月間で、フィッシング詐欺メールは1,265％増加し、一日平均約3万1,000件のフィッシング攻撃が発生しているという試算もある14。

ディープフェイクを利用した犯罪には、AIの画像生成能力を悪用した恐喝行為もある。SNS等で共有された一般的な写真画像をAIで不適切な内容に変換し、被害者を脅迫するというもので、米国連邦捜査局（FBI）は、被害者には未成年の子供も含まれると警告している15。

イ　ディープフェイクによる情報操作や犯罪利用への対策

（ア）欧州連合（EU）

偽・誤情報に関する法規制で先行するのは欧州連合（以下「EU」という。）である。2022年11月に発効16した「デジタルサービス法（The Digital Services Act）」17（以下「DSA」という。）は、超大規模オンラインプラットフォーム（VLOP18）などに対して、自身の提供するサービスのリスク評価（偽情報に関するものを含む）やリスク軽減措置の実施を義務付けており、違反企業には最大で世界年間売上高の6％の制裁金が科されることとなっている。実際に、EUの執行機関である欧州委員会（以下「EC」という。）は、イスラエルに対するハマス等によるテロ攻撃に関わる違法コンテンツの拡散等を踏まえ、X（旧Twitter）がDSAを遵守していない可能性があるとして、違法コンテンツの拡散への対応のほか、プラットフォーム上の情報操作への対抗措置の有効性等の領域について、2023年12月に正式な調査を開始した19。プラットフォーム上の情報操作への対抗措置に関し、ECは、特に、投稿に第三者が匿名で注釈を加える「コミュニティ・ノート」という機能等の有効性に焦点を当てる方針であるとしている。2024年3月、欧州議会は、AIに関する世界初の包括的な法的枠組みと位置づける「AI法（AI Act）」20の最終案を可決し、同年5月にEU理事会にて正式承認され、同法が成立した。同法は一部ディープフェイクに関する規制も含み、2026年頃には本格的に適用される見込みである。

（イ）英国

英国では、2023年10月に発効された「オンライン安全法（Online Safety Act 2023）」21に、虚偽であると知っている情報を受信者に心理的または身体的危害を与えることを意図してインターネット上で送信した者に、6か月の禁錮刑を科す内容が含まれている。特に、相手に苦痛、不安や屈辱等を与える加害意図や、自分が性的満足を得ようとする意図があったと立証されれば、最高刑が懲役2年となる。

（ウ）米国

米国においては、2023年7月、バイデン政権が、AI開発を主導するGoogle、Meta PlatformsやOpenAI等の7社22から、AIの安全性や透明性向上に取り組む自主的なコミットメントを得たと発表した23。同年9月には、新たにIBM、Adobe、NVIDIA等8社24が合意し25、同15社はディープフェイク対策として、真贋を示す目印をデータに忍ばせて識別を可能にする「電子透かし」等、AIによる生成を識別するための技術開発を推進している26。また、米国の一部の州において、ポルノや選挙活動等の特定の目的下でのディープフェイクに関する規制が見られる。例えば、カリフォルニア、テキサス、イリノイ、ニューヨーク等9州では、相手の同意の無いディープフェイクを用いたポルノ画像や動画の配布を刑事犯罪として規定しているほか、テキサス州やカリフォルニア州では、公職の候補者に対するディープフェイク等の発信に係る規制法を設けている。なお、米国連邦法においては、国防総省や全米科学財団等の連邦機関に対し、ディープフェイクを含む偽情報に関する調査研究の強化等を求める法律が制定されている27。他方、民間事業者に対しては、1996年成立の「通信品位法（Communications Decency Act）」第230条（通称Section 230）において、プロバイダは第三者が発信する情報に原則として責任を負わず、有害な内容の削除に責任を問われないと規定されているが、バイデン政権では、偽・誤情報に関してプラットフォーム事業者に一定の責任を求めるよう、法改正しようとする方向で議論が行われている。

（エ）日本

我が国におけるデジタル空間の情報流通の健全性確保に向けては、総務省が2023年11月から「デジタル空間における情報流通の健全性確保の在り方に関する検討会」を開催しており、2024年（令和6年）夏頃までに一定のとりまとめを公表予定である28。

技術的な対策としては、インターネット上のニュース記事や広告などの情報コンテンツに、発信者情報を紐付けるオリジネータープロファイル（OP、Originator Profile）技術の研究開発が進んでいる。この技術により、なりすましや改変が見える化されることで、Web利用者が透明性の高いコンテンツを閲覧できるようになる、フェイクニュースや安易な関心獲得による広告収益が得られにくくなり、適正なWebメディアやコンテンツの配信者の権利利益侵害を低減できるようになる、広告枠が設置されるWebコンテンツの発信者が明確になることで、広告主が安心して広告出稿ができるようになるといった効果が期待される29。

また、国立情報学研究所（以下「NII」という。）がフェイク技術対策に関する研究に早期から取り組んでおり、2021年9月には、AIにより生成されたフェイク顔画像を自動判定するツール「SYNTHETIQ VISION：Synthetic video detector」を開発した（図表Ⅰ-4-1-4）。これは真贋判定をしたい画像をサーバーにアップロードすると、同ツールがフェイクかどうかを判定するものである。現在NIIでは、更に進んだディープフェイク対策技術「Cyber Vaccine（サイバーワクチン）」を開発中であり、これが実現すると、真贋判定だけでなく、どこが改竄されたのか等の情報も得ることができるようになると期待されている3031。

---

9　首相にそっくりの声で卑わいな発言をさせた動画で、民放のニュース専門チャンネルのロゴが表示され、岸田首相の話が緊急速報として生中継されているかのような印象を与えるものだった。読売新聞オンライン「生成AIで岸田首相の偽動画、SNSで拡散…ロゴを悪用された日テレ「到底許すことはできない」」2023年11月4日，<https://www.yomiuri.co.jp/national/20231103-OYT1T50260/>

10　日本経済新聞オンライン版「能登半島地震の偽映像、SNSで拡散　送金募集も」2024年1月2日，<https://www.nikkei.com/article/DGXZQOCA020JZ0S4A100C2000000/>（2024/3/22参照）

11　日本経済新聞オンライン版「欧州5G基地局破壊、影の犯人は「コロナ拡散」のデマ」2020年4月25日，<https://www.nikkei.com/article/DGXMZO58443970U0A420C2XR1000/>

12　世界経済フォーラム「混乱、偽情報、分裂の時代を乗り切るために」2024年1月15日，<https://jp.weforum.org/agenda/2024/01/no-wo-ri-rutameni-fo-ramu-sa-dhia-zahidhi/>
NHK NEWS WEB「“「偽情報」が最も深刻なリスクに”「ダボス会議」前に報告書」2024年1月11日，<https://www3.nhk.or.jp/news/html/20240111/k10014317071000.html>（2024/3/22参照）

13　BBC NEWS Japan，「【米大統領選2024】バイデン氏に似せた自動音声通話が予備選を妨害、米ニューハンプシャー州」，2024年1月23日
<https://www.bbc.com/japanese/68065455>（2024/2/28参照）

14　「【焦点】生成AI「悪いGPT」の時代へようこそ」，『ダウ・ジョーンズ米国企業ニュース』2024年3月1日号

15　Federal Bureau of Investigation, “Malicious Actors Manipulating Photos and Videos to Create Explicit Content and Sextortion Schemes”，<https://www.ic3.gov/Media/Y2023/PSA230605>（2024/2/28参照）

16　同法は2023年8月からVLOP等に対して適用が開始され、2024年2月から全ての規制対象事業者に対して適用が開始されている。

17　European Commission, “The Digital Services Act package”，<https://digital-strategy.ec.europa.eu/en/policies/digital-services-act-package>（2024/2/28参照）

18　Very large online platformの略。オンラインプラットフォームサービスのうち、EU域内での利用者が4,500万人（EU域内人口の10％）以上のサービスを指す。

19　European Commission, “PRESS RELEASE18 December, Commission opens formal proceedings against X under the Digital Services Act”，<https://ec.europa.eu/commission/presscorner/detail/en/ip_23_6709>（2024/2/28参照）

20　European Commission, “AI Act”，<https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai>（2024/3/2参照）

21　Legislation.gov.uk, “Online Safety Act 2023”，<https://www.legislation.gov.uk/ukpga/2023/50/enacted>（2024/3/2参照）

22　Amazon、Anthropic、Google、Inflection、Meta Platforms、Microsoft、OpenAI

23　The White House, “FACT SHEET: Biden-Harris Administration Secures Voluntary Commitments from Leading Artificial Intelligence Companies to Manage the Risks Posed by AI”，<https://www.whitehouse.gov/briefing-room/statements-releases/2023/07/21/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-leading-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/>（2024/3/8参照）

24　Adobe、Cohere、IBM、NVIDIA、Palantir、Salesforce、Scale AI、Stability

25　The White House, “FACT SHEET: Biden-Harris Administration Secures Voluntary Commitments from Eight Additional Artificial Intelligence Companies to Manage the Risks Posed by AI”，<https://www.whitehouse.gov/briefing-room/statements-releases/2023/09/12/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-eight-additional-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/>（2024/3/8参照）

26　「米・AI動画識別の仕組み開発で各社合意　バイデン大統領が発表　「対策を進める」」，『NHKニュース』2023年7月22日号

27　2020年12月成立、2021年度の国防予算に関する「2021会計年度国防授権法」、「敵対的生成ネットワークの出力の識別に関する法律（IOGAN法：Identifying Outputs of Generative Adversarial Networks Act）」。

28　総務省，「デジタル空間における情報流通の健全性確保の在り方に関する検討会」，<https://www.soumu.go.jp/main_sosiki/kenkyu/digital_space/index.html>

29　https://originator-profile.org/ja-JP/

30　「Breakthrough　特集1−無人防衛2−〔第4部：ディープフェイク対策〕−ディープフェイクを見抜くツール　改ざんを自動修復するワクチンも」，『日経エレクトロニクス』2024年1月20日号

31　ただし、これらの対策には、真贋判定ツールの精度という課題もある。OpenAIによると、同社が自主開発した判定ツールが生成AI（主にChatGPT）製の文書を正しくAIによるものと判定する確率は26％で、逆に人間が書いた文書を誤って生成AIによると判定してしまう「偽陽性」の確率も9％あったという。そのため、この程度の精度では実際には有効な判定ツールとはならず、同社は当該ツールの提供を中止している。今後テキストや画像、音声等の生成AIと、それらの判定ツールが互いに競い合う形で双方の技術改良が進んでいく可能性が高いため、そのような技術を使っても、フェイク情報を正確に判別するのは難しいと見られている。

32　https://www.synthetiq.org/