概要
- プロンプトインジェクションによる被害について解説したnote
- 海外のディーラーのHPに設置したセールチャットボットに対してプロンプトインジェクションを仕掛けたという事例
- カスタマイズの無料サービスや新車を1$で売ることを確約させるようにしたなど結構ショッキングな内容が語られていた
- 最終的に無料でもらうことを確約する、というスクショまで出たとのこと
- 具体的にどれくらい設置されていたかは不明だが、数日ぐらいで取り除かれたようである
感想
- 安易に対策もせずにチャットボットを設置すると、思わぬリスクが生じることを示した事例と言える
- 今回はプロンプトインジェクションで遊んでいた、という感じで損害賠償は生じていないよう
- だがnoteの中身を取るとチャットボットが「1$で売ることを確約し、取り消しはない」という文章を残していたりするので魚拓とか取られてクレームつけられたりしたら、と思うと恐怖である
- 近年ではAIに関するガバナンスを考慮した設計・ガイドラインの作成が求められている一方で、それらを対応できる人材が足りていないという噂も聞いた
- プロンプトインジェクションを代表する様々なリスクを考慮し、思わぬ出力が生じないように念入りに対策して、AIサービスを導入する必要があるだろう
