Morris IIとは：生成AIに対する新たな脅威と影響について

AI
サムネイル
2024.03.06

・Morris IIとはどのようなものか、その特徴について解説
・Morris IIが生成AIに与える影響は何か、具体的なセキュリティリスクを知りたい

昨今、生成AIに対する新たな脅威が迫っています。ChatGPTやGeminiのようなチャット型のAIを操作できるワーム「Morris II」が登場しました。

Morris IIは生成AIのアプリケーションに脅威をもたらすゼロクリック型のワームです。巧妙にプロンプトを細工することで生成AIのセキュリティシステムを破壊します。

以降でその詳細を述べていきます。

Morris IIとは

Morris II1は、生成AIを活用するアプリケーションをターゲットとしたゼロクリックワームで、イスラエル工科大学やコーネル工科大学、ソフトウェア開発企業のIntuitなどの研究者たちにより開発されました。このワームを検証した結果、ChatGPT、Gemini、およびオープンソースのAIモデルLLaVAなどを標的に攻撃に成功したとされています。

詳細は公式論文および同ページ内YouTube動画でも紹介しています。

Morris Ⅱの仕組み

広告
　

「敵対的な自己複製プロンプト」とは

Morris IIはユーザの操作なしに悪意のあるコードを実行するゼロクリック攻撃を可能にしています。

具体的にはモデルに対して「敵対的な自己複製プロンプト」を使用しています。これについて以下が書かれています。

“Attackers can insert such prompts into inputs that, when processed by GenAI models, prompt the model to replicate the input as output (replication) and engage in malicious activities (payload),” the research summary states. “Additionally, these inputs compel the agent to deliver them (propagate) to new agents by exploiting the connectivity within the GenAI ecosystem.”

New Malware Worm Can Poison ChatGPT, Gemini-Powered Assistants

これを箇条書きでまとめると

  • 自己複製
  • ペイロードの実行
  • 新しいホストへの伝搬

Gigazineでは敵対的な自己複製プロンプトを「生成AIモデルが応答として別のプロンプトを出力するようトリガーするプロンプト」とまとめています。そういわれる理由として以下、上記の３点をそれぞれ述べていきます。

「自己複製」とは

攻撃者は、生成AIモデルが入力されたプロンプトを出力するように指示します。つまりプロンプトを複製して、ワームのようにほかのエージェントに同じプロンプトを伝搬することになります。

「ペイロードの実行」とは

生成AIモデルが出力する内容に悪意のある活動を含めることができます。例えばスパムメールや個人情報窃取などを行います。

「新しいホストへの伝搬」とは

生成AIが複数稼働しているエコシステム内で、新しいエージェントにも伝搬させることもできます。例えばテキストや音声、画像に指示のプロンプトを埋めこんで実行させます。

これによる影響

Morris IIによる影響として、一番大きな影響として、生成AIのセキュリティの壁が破られたことだとされています。

ChatGPTやGeminiなどの大手企業が提供している生成AIのシステムは、マルウェアの作り方などのコンプライアンスに抵触するコンテンツの生成をルールによって拒否しています。Morris IIはこのルールを破壊することが可能になってしまいます。

OpenAIは、ユーザー入力がチェックされていないことによる「プロンプトインジェクション型の脆弱性」を悪用した可能性があると述べています。AIモデルのセキュリティを向上させるために、対応も講じていると回答しており、そのうえで出力だけでなく入力にもチェック強化をすべきとも述べています。

広告

まとめ

生成AIの可能性とリスクへの新たな洞察を提供する、話題のワーム「Morris II」に焦点を当てました。生成AIは、ユーザーからの命令に応じてコンテンツを生成する時代の最先端技術として注目されています。しかし、この技術の新たな脅威として登場したのがMorris IIです。

Morris IIは、顕著なユーザー操作なしに攻撃を行うことができるゼロクリックワームの一種であり、特にチャット型AIアプリケーションをターゲットにしています。このワームは敵対的な自己複製プロンプトを用い、AIモデルによる入力の複製、有害活動の実行、そして感染したプロンプトを新たなAIエージェントに伝播させることが可能です。

セキュリティの壁が破られる懸念は、生成AIがこれまで厳しく禁じていたマルウェア関連コンテンツの生成を許してしまう可能性があることにあります。OpenAIなどの企業は、このようなプロンプトインジェクションの脆弱性への対策を急ピッチで進めている状況です。

Morris IIの出現は、生成AIの安全性に重大な影響を及ぼす可能性があると同時に、セキュリティ対策の重要性を改めて感じます。AIの発展に伴い、セキュリティの脅威も進化しているため、継続的な警戒と対策が必要不可欠です。この危機的状況は、生成AIの未来における大きな課題となっています。

参考文献

  1. 「Morris II」の名前の由来は初期のインターネットで拡散されたワームの「Morris」に由来しています。 ↩︎

コメント

タイトルとURLをコピーしました