もはや生成AI（人工知能）なくして業務効率は向上しない。資料作成はもちろん、アイデア創出の壁打ちやプログラミングの伴走といった業務にも利用が広がっている。今後も生成AIに任せる業務は増え続けるだろう。
ただ、生成AIを活用できるのはサイバー攻撃者も同じだ。フェイクの動画や画像、さらにはマルウエアを効率よく生成し、サイバー攻撃に応用する動きが活発になってきた。
今、身近に迫る脅威は大きく3つある。（1）ディープフェイクによるなりすまし（2）マルウエアの高速作成（3）詐欺メールの巧妙化――である。生成AI時代の新たな脅威に備えるために、まず攻撃の手口を理解する必要がある。
ネット越しの本人確認が生成AIで突破される
「動画の顔や声紋を巧妙に変えられる」――。三井物産セキュアディレクションの吉川孝志上級マルウェア解析技術者は、生成AIを使った最新ツールの実力をこのように説明する。これら最新のツールをディープフェイクに悪用するリスクが高まっているという。
従来、ディープフェイクといえばポルノなどの不適切な動画や画像の作成に用いられていた印象が強かった。しかし最近は、別の人物になりすまして金銭などの「実利」を得ようとする動きが目に付くようになっている。
実際、海外の闇サイトはサイバー犯罪に生成AIを活用する話題で持ちきりだ。例えば、オンラインで身元を確認する「eKYC」（electronic Know Your Customer）をディープフェイクで突破する取り組みなどが、ハッカーらが集まる掲示板で活発に議論されているという。eKYCを突破する方法について意見を交換するスレッドには「800件以上のコメントがあった」（吉川氏）。
攻撃の手口を説明しよう。まず攻撃者は、なりすましたい人の動画や画像から顔のデータを取得する。取得したデータを生成AIに学習させて、顔をなりすませるようにする。十分に学習させたら、自分の顔と「交換」して、eKYCの突破を狙う。
一般的なeKYCは、顔写真付きの身分証明書と顔写真のデータを利用者に送信してもらい、これらを照合して本人かどうかを確認する。精度を高めるために途中でまばたきなどを求めるものもあるが、ディープフェイクによって本物そっくりの顔になりすまされると見抜きにくくなる。eKYCの仕組みが脅かされているわけだ。
厄介なことに、顔写真を不正に入手されるリスクも高まっている。2024年2月には、顔の情報を盗むスマートフォンのマルウエア「GoldPickaxe」の発見を、シンガポールのセキュリティー企業Group-IB（グループIB）が報告した。このマルウエアと、顔を入れ替える生成AIのツールを組み合わされると、顔認証のシステムを突破される可能性は一段と高まる。
さらに顔だけでなく、生成AIを活用した声のなりすましのリスクも顕在化している。研究目的ではあるが、米紙ウォール・ストリート・ジャーナル（WSJ）の記者が音声合成ソフトを用いて「米国大手銀行の声紋認証を突破してしまった事例がある」（吉川氏）。
こうした顔や声紋を別人と入れ替えるツールは、闇サイトで取引される不正なものばかりではない。「オープンソースソフトウエアやサービスも数多く登場している」と吉川氏は話す。
例えば「DeepFaceLive」というオープンソースのライブラリーがある。このライブラリーを活用すれば、Webカメラに映った顔を学習した顔とリアルタイムで入れ替えられるという。テレビ会議の画面などには、自分の顔ではなくなりすました顔が表示される。
マルチモーダル対応が進む生成AIを活用すれば、本人になりすました音声や動画を簡単に作成できる。誰でも自分のパソコンや外部サービスで音声を合成できるようになった今、顔や音声を用いたeKYCを実装している企業は再考しなければならない。まさに生成AI時代の新たな脅威といえるだろう。
新作マルウエアを高速作成
ディープフェイクは生成AIをサイバー攻撃に活用した典型例だ。だが生成AI活用は既知の攻撃を激化させる手段にもなる。例えば、2つ目の脅威として挙げたマルウエアの作成だ。BlackBerry Japan（ブラックベリージャパン）の池田企Cybersecurity事業本部セールスエンジニアリング部シニアマネージャーは「生成AIでマルウエアを大量作成する環境が整っている」と警鐘を鳴らす。
米OpenAI（オープンAI）が開発する「ChatGPT」などは、プロンプトで依頼してもマルウエアに含まれるような不正なプログラムを出力しにくい。犯罪に利用できそうな情報を出力しないようにする仕組み、いわゆる「ガードレール」を備えているからだ。
しかし「WormGPTのようなガードレールのない生成AIがある」（池田マネージャー）。制限がないため、攻撃者がマルウエアプログラムを生成してほしいと依頼すれば出力してしまう。高速かつ大量に新種のマルウエアを作成できる。
