生成AIの普及によって、サイバー攻撃の手口は大きく様変わりしています。結論から言うと、企業がまず押さえるべきは「なりすまし」「プロンプトインジェクション」「シャドーAIによる情報漏洩」「AIモデルへの攻撃」という脅威の型と、それぞれに対応した防御策です。ツールを一つ導入すれば終わりという話ではなく、教育・認証・体制づくりを組み合わせた多層防御が必要になります。
この記事では、AI時代に特有のセキュリティリスクを脅威の種類ごとに整理し、それぞれに対応する防御策を解説します。セキュリティ担当者だけでなく、経営層やAI開発者にも知っておいてほしい内容です。なお、具体的なセキュリティツールの比較は別記事で扱っているため、本記事では脅威の理解と組織的な対策に絞って解説します。
AI活用が生んだ新しいセキュリティ脅威
なりすまし攻撃：AIフィッシングとディープフェイク
生成AIを悪用すれば、ターゲットの文体や関心事に合わせたパーソナライズドフィッシングメールを大量に生成できます。従来の不自然な日本語のフィッシングとは異なり、実際のビジネスメールと見分けがつかない品質のものが送られてくるため、人間による判別が難しくなっています。
さらに、音声や映像をAIで合成するディープフェイク技術は、ビデオ通話での経営者なりすましや、音声認証の突破に悪用されるリスクがあります。ディープフェイクを使って経営者になりすまし、送金や重要な意思決定を実行させようとする詐欺の手口も報告されています。
プロンプトインジェクション
LLMベースのアプリケーションに対して、悪意のある指示を入力に紛れ込ませ、本来の動作から逸脱させる攻撃です。チャットボットに機密情報を漏洩させたり、意図しない操作を実行させたりするリスクがあり、OWASPのLLM Top 10でも最重要リスクの一つに位置づけられています。
シャドーAIによる情報漏洩
従業員が会社の許可を得ずに外部の生成AIサービスへ機密情報や顧客データを入力してしまう、いわゆる「シャドーAI」も情報漏洩の新しい経路です。悪意がなくても、入力内容がAIサービス側に保持されたり、意図しない形で情報が外部に残ったりするリスクがあります。
AIモデルそのものへの攻撃
画像認識AIに対して人間には知覚できない微小なノイズを加え、誤判定を引き起こす「敵対的攻撃」も研究が進んでいる分野です。自動運転の標識認識や、セキュリティカメラの顔認証を欺く手法が指摘されています。
また、AIモデルの学習データに意図的に誤ったデータを混入させ、モデルの判断を歪める「データポイズニング（学習データの汚染）」にも注意が必要です。公開データセットやクラウドソーシングによるデータ収集は、特にリスクの高いポイントとされています。
脅威別に見る具体的な対策
なりすまし対策：多要素認証と別チャネル確認
パスワードや音声認証だけに頼らず、物理キー（YubiKeyなど）を含む多要素認証（MFA）を導入しましょう。ディープフェイク対策としては、ビデオ通話で送金や重要な意思決定の指示を受けた場合、電話や別のチャットツールなど別チャネルで本人確認を行うプロセスを設けることが有効です。あわせて、AI生成フィッシングの見分け方やディープフェイクの特徴を、全従業員に定期的に教育することも欠かせません。
プロンプトインジェクション対策：入力と出力の検証
自社でLLMベースのアプリケーションを運用する場合は、入力のサニタイズ、出力のフィルタリング、権限の最小化を実装しましょう。LLMに渡す前に不審な指示パターンを検知する仕組みや、LLMの出力に機密情報が含まれていないかをチェックする仕組みを組み込むことが基本になります。
シャドーAI対策：利用ルールの明文化と可視化
どの生成AIツールを業務で使ってよいかを明文化し、許可されたツール以外の利用を制限しましょう。あわせて、利用状況を可視化するログ管理の仕組みを整えることで、意図しない情報流出の早期発見につながります。禁止一辺倒にするのではなく、安全に使える環境を用意することが、シャドーAIの抑制には効果的です。
AIモデルへの攻撃対策：来歴管理とレッドチーム評価
学習データの来歴管理、モデルへのアクセス制御、APIキーの厳格な管理を開発プロセスに組み込みましょう。あわせて、外部の専門家によるペネトレーションテストや、LLMアプリケーションを対象としたレッドチーム評価を定期的に実施し、防御体制を検証することが重要です。
組織全体で整えるべき体制
個別の対策に加えて、組織としての土台づくりも欠かせません。まず、「社内ネットワークは安全」という前提を捨て、すべてのアクセスを検証するゼロトラストアーキテクチャへの移行を検討しましょう。リモートワークの普及とAI攻撃の高度化により、境界型防御だけでは限界があります。
また、ディープフェイク被害、データ漏洩、AIシステムの誤動作を想定したインシデント対応計画をあらかじめ策定し、発生時の対応フローを従業員に周知しておくことも重要です。
AI開発者が守るべきセキュリティ原則
AIを自社で開発・運用するエンジニアには、利用者としての対策に加えて、開発プロセスに組み込むべき責任があります。特に、OWASPが公開している「LLM AI Security & Governance Checklist」は、LLMアプリケーションのセキュリティ対策を網羅したチェックリストとして参考になります。開発チームで共有し、リリース前の確認に活用するとよいでしょう。
まとめ：AI時代のセキュリティは多層防御で
AI時代のセキュリティは、従来のように「壁を高くする」防御だけでは不十分です。なりすまし、プロンプトインジェクション、シャドーAI、AIモデルへの攻撃と、脅威の型ごとに対応する対策を組み合わせ、ゼロトラストで内部も外部も検証し続けることが求められます。まずは全従業員向けのAIセキュリティ教育と、多要素認証の徹底から始めてみてください。
あわせて読みたい：AI音声認識ツール比較2026／AIメール作成ツール比較5選
よくある質問
Q. シャドーAIとは何ですか？
従業員が会社の許可を得ずに外部の生成AIサービスへ機密情報などを入力して利用することを指します。悪意がなくても情報漏洩につながるリスクがあるため、利用ルールの明文化と可視化が対策の基本です。
Q. プロンプトインジェクション対策で最初に取り組むべきことは？
自社でLLMアプリケーションを運用している場合は、入力のサニタイズ、出力のフィルタリング、権限の最小化から着手するのが基本です。あわせてOWASPのLLM Top 10やチェックリストを参考にすると整理しやすくなります。
Q. ディープフェイク詐欺を防ぐには何を優先すべきですか？
ビデオ通話や音声通話だけで送金や重要な指示を確定させず、電話や別のチャットツールなど別チャネルで本人確認を行うプロセスを設けることが有効です。あわせて多要素認証の徹底と、従業員へのディープフェイクの特徴の周知を進めましょう。
コメント