資訊安全新知分享
NEITHNET 資安實驗室
隨著AI智慧發展，ChatGPT的應用也越來越廣泛，從個人使用到企業應用都相當普及。然而，ChatGPT的普及也帶來了新的資安風險，其中最大的風險就是「催眠攻擊」。催眠攻擊是指駭客透過對話方式，操縱ChatGPT的語言生成能力，讓ChatGPT產生錯誤的認知與行為，從而達到破壞、盜取、詐騙等目的。
由於ChatGPT具備高度的智慧對話能力，讓使用者甚至無法察覺到受到攻擊，因此催眠攻擊成為了當前最為嚴重的ChatGPT資安問題之一。以下是一些駭客可能對ChatGPT做出的催眠攻擊手法：
1、輸入敏感性試探：
攻擊者可能會嘗試輸入不同的敏感性詞語或情感詞語來觀察ChatGPT的反應，以了解其是否會洩露敏感信息，並進一步獲取系統的控制權。
2、無限迴圈：
攻擊者可能會設計一個無限迴圈，讓ChatGPT陷入一個永遠不會結束的狀態，以檢測其對於這種異常情況的處理能力。
3、語義擴張：
攻擊者可能會試圖擴展ChatGPT的語義範圍，例如將某些隱含的含義插入對話中，觀察ChatGPT是否能夠正確地理解並回應這些含義。
4、反向工程：
攻擊者可能會試圖逆向工程ChatGPT的內部機制，例如進行模型權重分析或對其輸入輸出進行深入分析，以發現漏洞或弱點。
為了預防催眠攻擊，ChatGPT的開發者需要密切關注ChatGPT的運作情況，及時檢測並修補漏洞。同時，使用者也需要提高警覺，避免受到社交工程攻擊或其他形式的攻擊。為了應對催眠攻擊，以下是一些建議：
1、提高員工資安意識：
企業應該提高員工的安全意識，特別是對於催眠攻擊的警覺和檢測能力，員工需要瞭解哪些訊息可能是潛在的安全威脅，並且知道如何識別和回應這些威脅。其次，企業應該加強對ChatGPT模型的安全審查，並且在發現安全性漏洞或問題時，及時進行修復和更新。對於ChatGPT模型的使用者，也應該注意模型的來源及資料的信任度。
2、定期建立安全警報機制：
建立安全警報機制可以及時發現潛在的安全風險和攻擊行為；企業可以定期檢測和監控ChatGPT模型的行為和活動，以及對話的內容和行為模式。當發現可疑行為時，企業可以立即啟動應急計劃，迅速進行處理和防禦。
3、合理限制模型權限：
開發者設置ChatGPT模型時，應該限制模型的權限和訪問範圍及閥值的設置，避免模型受到未經授權的訪問和操作。同時，企業也應該加強模型的加密保護和授權管理，保護模型的安全性和私密性，這可以降低攻擊者使用非常規輸入觸發催眠攻擊的風險。
4、模型監控與數據清洗：
開發者可以使用模型監控技術來檢測模型的行為是否異常。這可以幫助開發者快速檢測到任何威脅，並採取相應的措施，開發者也可以對ChatGPT的訓練資料進行清洗和過濾，以減少模型對於催眠式輸入的敏感度。資料清洗可以去除掉一些誤導性資料和攻擊性資料。
總體而言，ChatGPT是一個嶄新的技術，對於人類和企業都有著巨大的影響和潛力。然而，隨著技術的進步，資安問題也變得更加複雜和嚴重，文中提到的催眠攻擊就是其中一個例子。因此，ChatGPT的開發者和使用者都需要意識到這個問題的存在，加強資安防範和意識，進而保障自己和他人的資訊安全。