小企鵝メモ | AI Agentは仕事も手伝うし、秘密も漏らし得ます 😮
最近こんな出来事がありました。ある人がAI agentにGitHub Issueを自動で作らせたところ、AIが書いた本文の中に「魔法の呪文」のような文字列が混ざっていました。コンピューターはそれを命令だと解釈し、システムに保存されていたパスワードや鍵をそのまま公開ページに出力してしまいました。
Telegram TokenもAPI Keyも、全部インターネット上に出ました。
AIが「うっかり」発火させたもので、ハッカーが直接侵入したわけではありません。AIはただ文章を書いていただけです。ただ、その文章がコンピューターから見るとコマンドに見えました。
これがAI agent時代の新しいリスクです。仕事を任せるために権限を渡すと、agentはあなたのシステムへ触れる力を持ちます。AIの出力をフィルタせずに実行すると、事故は普通に起きます。
能力が大きいほど、攻撃面も大きくなります。AI agentは便利ですが、権限範囲は必ず確認しましょう。助手を情報漏洩の原因にしないことです 👀