概要
- 例えばMLモデルの入力データに目立たないノイズを乗せて誤認識させるEvasion Attacks や、トレーニング中に汚染されたデータを注入する Poison Attacksなどがモデルの精度を下げる。
- また事前訓練させたモデルから訓練データを予測し、個人情報などの機微情報を取得するModel Inversion Attacks がある。
- このようなセキュリティ・プライバシーリスクに対抗するため、様々な対策が提案されている
- 例えば、k-匿名性や連合学習
- AIJackは、MLモデルのセキュリティ・プライバシーリスクを評価し、このような対策の有効性を評価するシミュレーションを簡素化するためのオープンソースソフトウェア
- PyTorchやscikit-learnに基づいて構築されているため、既存のコードにAIJackを簡単に組み込むことができ、様々な攻撃や防御の組み合わせの実験が可能になる
所感
- 既存のコードに組み込むだけで、様々なリスク場面をシミュレーションできるのであれば、コスト・手間という観点からとても有益なライブラリと言える
- 特に近年はAIサービスに関するセキュリティ・プライバシーリスクの対策が必要になっている
- そのため品質を満たすためのテストは必須といえる
- その手間やコストを軽減するという点でも、サービスを提供する側からするとありがたいものだろう
- Github の方に以下のようなドキュメントがあり、チュートリアルなどがあり、実装に関してのサポートも充実しているようである
- AIのセキュリティ・プライバシーに関する知識が浅いため、細かな点 (用語や実用例) に関してはわからない点も多かった
- また、どれぐらいこのライブラリの効果があるのか、既に使われているのか分からない。
- 上記のドキュメントを読みながら試してみることで上記の点に対する理解が深まると思われる
- 今度試してみたい
