概要
- 香川県三豊市でChatGPTを用いたゴミ弁別のQ&Aを行うシステムの実証実験の結果が、目標の精度である99%に行かず、システムの導入を見送ったという話である。
- 以前CEATEC 2023 の松尾豊氏の講演でも、ChatGPTの活用事例としても紹介されていた (産業省にてスライドも公開済み)
- https://www.meti.go.jp/shingikai/mono_info_service/digital_jinzai/pdf/008_05_00.pdf
感想
- やはりハルシネーション (幻覚) がネックであると言え、分野によっては簡単に導入できないことを示している記事と考えられる
- ごみの分別は、ちょっとした間違いも許されないので中々難しい
- ChatGPT導入前が62.5% だったのに対し、導入後が94.1%と精度が大きく向上している点は注目できる
- 以前、別の事例の講演で「ハルシネーション」をどう対処するか、という疑問に対し、「ユーザーの期待値を下げる (出力を鵜呑みにさせない) 」「出力の根拠を提示 (引用) する」という対応を取っていると聞いたことがあるが、今回はそういうわけにもいかないのだろう
- 分野によって、対応策もそれぞれ考えなくてはいけないのかもしれない
- 仮に導入できたとして誤った回答を与えたとき、どのようにしてカバーするかということも考える必要もあるかも
- 例えばユーザーからのクレームとか
- 「AIは間違いを犯すもの」と伝えても、だったら導入するなと言われそう
- クレーム対応もAIに任せられたらなあ
- 「人間とAIが協働できるところでAIを導入する」というのが現状で、まだまだAIに全部任せるとまでは行かないのかもしれない
