漏洩、誤回答——わが社の生成AI活用に潜む「思わぬリスク」とは？

生成AIに関する認知と活用の広がりを背景に、各企業での導入もいよいよ加速しています。ただ、高度な技術の集積である生成AIに関しては、専門家以外にはわからない面も多く、活用にともなうリスクへの不安がぬぐいきれないのも正直なところ。自社として安心・安全の運用をはかるには、どんな点に留意し、どこに備えておけばいいのか？　企業向けに生成AIのサポートを幅広く手掛ける（株）NTTデータ テクノロジービジネス事業本部 テクノロジーコンサルティング事業部の嶌谷直紀さんに伺いました。

---

生成AIによる情報漏洩リスクをどう捉え、どう対処すべきか

私どもが生成AI活用に関して、お客様からいただくことが多いのが機密情報の漏洩に関するご相談です。ただ、これについてありがちなのは、従業員が社内では認められていない生成AIサービスに、悪気なく機密情報をアップロードするといったケースで、生成AIに特有のリスクとは言えないかもしれません。生成AIは非常に便利なものですので、その便利さを優先し、ついつい自分が使い慣れたサービスを使ってしまう。その点で、従来のSaaSやクラウドストレージの利用におけるセキュリティリスクと同じく、利用する側に「使っていい生成AI」と「入力していい情報」の区別がしっかりとできていないことが、問題の本質と考えられます。

こうした場合、対策としては生成AIのための活用ガイドラインを社内に設け、その周知徹底をはかるといった人的セキュリティの面がひとつ。あとは「生成AIガードレール」ツール（「生成AIを安全に使うために整えるべきサービス＆ルールとは？」記事参照）の導入による技術面の強化という両面からの対策が考えられるでしょう。ただ、人的セキュリティの場合、どうしても完璧にはいかないのが現実です。また、ツール導入により社内での入出力の細部をチェックできたとして、そもそも「何が機密情報なのか」という区別は社内の部署や階層ごと、社外でも顧客ごとに相当違ってくるため、100％正確に判定するというのは、やはり難しい面があります。

より抜本的な対策としては、たとえばChatGPTであれば、社内向けエンタープライズ版の導入で、パーソナルユースとアカウントを厳格に区別するといった方法もありますが、その場合も先に挙げたようなセキュリティ面（使っていい／入力していい）の社員教育が重要であることに変わりはありません。

生成AIの高度検索システムを前提に、社内データの適切な管理を

現行の生成AIにおいては、開発時に学習した膨大なトレーニングデータに加えて、自社の社内データや専用データベースなど「外部情報」を検索・参照し、その内容を回答生成に反映させるRAG（Retrieval-Augmented Generation 検索拡張生成）という技術が用いられています。これによって回答の精度向上のほか、学習効率アップによるコスト削減のメリットが期待できますが、反面、社内の情報漏洩リスクも高くなる。たとえば、顧客向けの生成AIチャットから機密データが予期せず漏れてしまったり、社内においても階層や部署を超えた経営情報が公開されたり――こうしたケースでも重要なのは、やはり情報の取扱いに関するセキュリティ意識の向上と言えるでしょう。

すなわち、RAGを含めたシステムの設計段階においては、顧客に提供すべきデータ以外を含まないよう生成AIの情報ソースを絞ることが大前提。一方で社内向けにも、すべての情報をオープンにするわけにはいかず、人事情報、高度な経営資料、取引先情報などは目的と価値を十分に精査したうえで、適切なアクセス権限の付与を行うという配慮をおろそかにできません。とりわけ生成AIの場合、最近は外部からの「プロンプトインジェクション」という攻撃で機密情報が漏れてしまうケースも多く、十分な注意が必要となっています。

外部からの悪意ある「プロンプトインジェクション」とは？

「プロンプトインジェクション」とは、その名の示すとおり生成AIに対して不正なプロンプト（指示）をインジェクション（注入）することで、サービスの提供・運用者や利用者が意図しない応答を引き出す攻撃です。これにより、システムの不正操作や誤情報、マルウェアなどの拡散被害が発生しますが、なかでも機密情報・個人情報の漏洩は、企業にとって重大な被害をもたらすリスクをはらんでいます。

その手口には「直接型」と「間接型」の２種類があり、前者の場合は内部情報を漏洩させるための特殊なプロンプトを画面に直接入力。RAGなどによる社内システムとの連携を利用し、生成AIをこれにアクセスさせて、データを取得させるのが典型的な方法です。一方、後者は少し複雑で、生成AIが参照する情報ソース（顧客を装ったメールなど）にあらかじめ不正なプロンプトを仕込んでおきます。これを何も知らない社内の利用者が「このメールを処理して」と生成AIに読み込ませることで罠が発動します。結果として、生成AIが騙されて社内システムから内部情報を盗み出してしまうのですから、非常に手が込んでいます。

この間接型インジェクションは、少し前にマイクロソフトの生成AIサービスである「Copilot」で不正なプロンプトの痕跡が発見されるなど、大企業を狙った例が注目されていますが、中小企業でも安心はできません。攻撃者にとって利益がある情報や金銭が得られる可能性があれば、いつでもどこでも起こり得るものと捉え、できる限りの対策（「生成AIを安全に使うために整えるべきサービス＆ルールとは？」記事参照）をしておくことが肝要です。

生成AIによる「ハルシネーション」の対処は、ざっくり把握から

生成AI活用にともなうトラブルは情報漏洩だけではありません。「ハルシネーション（幻覚）」と呼ばれる誤回答の問題などは、身近に経験したことがある方も多いのではないでしょうか。

実際、生成AIは事実とは異なる情報やありもしない事実を、あたかも正しいかのように自信満々で出力してくることが少なくありません。そうした「もっともらしい嘘」や「存在しない情報の捏造」に対し、多くの現場では「生成AIの回答を鵜呑みにせず、必ず確認を」と社員教育に取り組んでおられますが、それだけでは正直、不十分だと思います。使う側にしてみれば仕事の効率向上を狙ってのことであり、毎回、細部までの検証をしていたのでは生成AI活用の意味がなくなるからです。

生成AIを支えるLLM（Large Language Model 大規模言語モデル）という技術は、人間のように「意味」を理解して回答するのではなく、膨大な文章データから単語の組み合わせの出現確率を予測しています。そこでは「正しさ」より「もっともらしさ」が優先されるため、ハルシネーションは宿命的と言えるかもしれません。そこでおすすめなのは、こうした生成AIの回答の仕組みを従業員の皆さんにざっくりと理解してもらうこと――専門家も“ブラックボックス”と表現するLLMについて、概念だけでも共通認識をもてれば、誤情報への注意があらためて喚起され、社外に発信する情報について、確認ルールを共有し、遵守することにもつながるでしょう。

りそなBiz Actionではこれらの資料もご用意しております。ぜひご活用ください。