a hacker

一份來自 Immersive Labs 的最新報告《GenAI的黑暗面》揭示了聊天機器人( Chatbot )存在嚴重的安全漏洞,這些漏洞可以通過「 提示注入 」 攻擊 被利用,導致機密信息洩露,進而給企業帶來數據外洩的風險。

該報告基於一項公開的提示注入挑戰賽收集的數據,結果顯示,有88%的參賽者成功欺騙了 Chatbot ,至少在挑戰的某個階段獲得了敏感信息。此外,近五分之一的參賽者(17%)在所有挑戰階段都成功欺騙了機器人,這進一步突顯了使用 Chatbot 的企業所面臨的風險。

Immersive Labs 的網絡心理學主管約翰·布萊思(John Blythe)解釋了這次挑戰賽的性質:

「去年我們舉辦了一場公開挑戰賽,任何公眾都可以登錄挑戰賽網站,挑戰的目標是運用各種技術來欺騙機器人洩露密碼。我們沒有給參賽者任何提示或指導,完全依賴他們的創造力,挑戰分為 10 個逐漸增加難度的階段。」

報告的發現表明,即使是非網絡安全專業人士和不熟悉提示注入攻擊的人,也能利用自己的創造力來欺騙機器人,這意味著在現實世界中,利用提示注入攻擊來利用 GenAI 的門檻可能比預期的更低。

布萊思補充說:

「我認為人們天生就是社交工程師。他們經常使用很多社交工程在釣魚郵件中欺騙人的技術。人們自然會以與對待其他人相同的方式與這些機器人互動。因此,當他們被引導去欺騙機器人時,他們就會使用在日常語言中說服人的相同技巧,我覺得這非常有趣。」

這份報告強調了企業需要警惕 Chatbot 可能帶來的風險,並採取積極措施來保護敏感信息。欲了解更詳細的分析,請訪問 Immersive Labs 的官網獲取完整報告