ニュースの要約
- 名大発のAIスタートアップAquaAgeがNEDO Challenge「GENIAC-PRIZE」で受賞
- マルチターン型ジェイルブレイクに対抗する「ハニーポット型防御LLM」を開発
- 生成AIの安全性を高め、社会から信頼されるAIの実現を目指す
概要
名古屋大学発のAIスタートアップAquaAgeは、国立研究開発法人 新エネルギー・産業技術総合開発機構(NEDO)が実施する懸賞金活用型プログラム「GENIAC-PRIZE」において、67件の応募の中から8件の受賞プロジェクトの一つに採択され、賞金500万円を獲得しました。
AquaAgeが受賞したのは、「マルチターン型ジェイルブレイクに対抗するハニーポット型防御LLMの構築」という提案です。近年、大規模言語モデル(LLM)の特性を悪用した「マルチターン型ジェイルブレイク」と呼ばれる手法が問題となっていますが、AquaAgeはこの課題に対し、「ハニーポット(Honeypot)」概念を応用した防御型LLM構造を提案しました。
本システムは、攻撃者による悪意あるプロンプト操作をモデル内部で疑似的に捕捉・隔離し、対話ログを解析することでリスクプロファイルを自動生成します。これにより、AIが攻撃パターンを自律的に学習・可視化し、継続的に防御性能を向上させることが可能になります。
AquaAgeはこの技術を通じて、生成AIの安全性を「静的防御」から「動的・適応的防御」へと進化させ、将来的には自律エージェントや産業用AIシステムへの応用も視野に入れています。
編集部の感想
編集部のまとめ
AquaAge：名大発スタートアップ、NEDO Challenge「GENIAC-PRIZE」トライアル審査にて受賞についてまとめました
今回のNEDO Challenge「GENIAC-PRIZE」の受賞は、AquaAgeの研究開発力と生成AIの安全性への取り組みが高く評価された証だと言えるでしょう。
マルチターン型ジェイルブレイクは近年の大きな課題の1つですが、AquaAgeが提案するハニーポット型防御は、AIが自律的に攻撃パターンを学習・可視化し、防御性能を向上させていく仕組みであり、大変画期的な取り組みだと感じました。
この受賞を契機に、AquaAgeがさらに研究開発を加速し、生成AIの信頼性向上につなげていくことを期待しています。また、このような企業の取り組みが、社会からAIに対する信頼を醸成していくきっかけにもなっていくのではないでしょうか。
参照元：https://prtimes.jp/main/html/rd/p/000000025.000093325.html
人気記事