淺談Deepfake資安問題與生成、偵測技術

　　近年來Deepfake（深度偽造）技術發展已日趨成熟，大幅降低臉部再製、合成及模擬影像、聲音或視訊的門檻，讓許多人可輕易上手，甚至被不肖人士濫用。今年韓國夯劇《絕世網紅》，其重點劇情，便是女主角的好友，透過Deepfake換臉技術，將大眾騙的團團轉。而現實生活中，不論國內外，早已有許多利用Deepfake運用在不法之處的案例。

Deepfake的資安問題

　　Deepfake涉及到數位技術在製作高度逼真的假影音和圖片的濫用。因此，Deepfake在社交工程和認知風險造成很大的影響，例如攻擊者可能製作假影片或音訊來欺騙受害者，試圖獲得敏感訊息或取得受害者的帳戶。而認知風險的危險之處就在於Deepfake可能被用來操作輿情，影響大眾的信任，因為一般人難以分辨真實與虛假的影音，可能對政治、社會等領域的穩定造成影響。

　　而目前更多人擔心Deepfake技術被用於數位認證中的金融詐欺行為，特別是線上支付和個人銀行服務。目前技術可用Deepfake來進行及時的人臉置換，這對於個人網路銀行中的身分識別造成很大的潛在威脅，主要原因在於金融科技中的身分識別，其數位ID可以進行人臉辨識的動作來完成登入和轉帳的驗證。

　　Deepfake造成的影響從個人周遭生活上的詐騙，大則造成輿論、經濟、政治、國安等方面，影響甚鉅。因此，目前社群媒體平台紛紛設立各項打擊Deepfake的措施及行動，許多國家也開始透過立法防範，遏止不當行為。

Deepfake技術

　　Deepfake技術可將現有圖片疊加至目標圖片來達到換臉、偽造圖像和影音等效果，而目前Deepfake最常使用的技術為generative adversarial network (GAN)和autoencoder。

　　GAN是由兩個神經網路來組成：生成器 (generator) 和判別器 (discriminator)，它們會一起協同工作。而GAN用在Deepfake的實現方式是在生成器中嘗試通過改變影片、圖像和聲音等，來創造虛假的內容，使其看起來像一個特定人物的影片。而判別器的目標則是檢測生成器創建的虛假內容，它會不斷學習區分真假內容。而在訓練過程中，生成器和判別器之間會不斷的競爭和學習，使生成器的虛假內容變得愈來愈逼真。

　　而另一個技術Autoencoder，在Deepfake實作時會將真實A臉的圖像和目標B臉的圖像，放在encoder的神經網路中進行訓練，其目的是為了讓encoder蒐集到兩張臉相似的地方，並且進行資料的降維。而這時會有兩組不同的decoder分別讀取被encoder降維的資料，來分別重構出A臉和B臉。經過不斷的訓練，encoder和decoder會自行調整模型參數，來重建出更精確的人臉。最後換臉階段只要A臉用B臉的decoder來進行重建，B臉的decoder就會利用A臉的表情與五官定位來重構出B臉，藉此來完成Deepfake換臉的動作。

Deepfake偵測方式

　　現今為了偵測Deepfake影音，也發展了相對應的防範技術，主要分為傳統技術和人工智能中的深度學習。

　　傳統技術使用視覺特徵和統計技巧來偵測Deepfake，例如檢查圖像或影片中的不規則、畸變、照明光源不一致及不自然的眨眼或嘴部運動。這些方法在一定程度上可以識別出Deepfake，但對於高質量的Deepfake影像則效力有限。

　　而人工智能中的深度學習，Deepfake檢測模型是屬於二元分類模型，可判別輸入的影片、圖片是真的還是假的。主要檢測步驟會先將輸入的資料進行預處理，這一步驟會將影片按照單個幀數的單位來進行提取，提取後需要從圖像中檢測人臉。由於臉部區域經常出現異常，因此僅選擇臉部區域讓模型只關注這部分，從而節省了用全幀掃描的計算成本。第二步驟則是特徵提取，主要是用convolution neural network來提取前處理後的資料特徵，特徵提取能提取視覺特徵、局部特徵（眼睛、鼻子、嘴巴的位置、嘴形動態、眨眼等生物特徵），最後將提取到的特徵向量發送給分類模型輸出結果。

　　而目前針對Deepfake的檢測模型則有Generative adversarial Networks、基於時序空間資料來訓練的LSTM模型或是attention-based model等偵測模型。

參考資料

1. Shao, Rui, Tianxing Wu, and Ziwei Liu. “Detecting and grounding multi-modal media manipulation.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.
2. Ruben Tolosana, Ruben Vera-Rodriguez, Julian Fierrez, Aythami Morales, Javier Ortega-Garcia, DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection (2020), Information Fusion, 2020.
3. Nguyen, Thanh & Nguyen, Cuong M. & Nguyen, Tien & Nguyen, Duc & Nahavandi, Saeid. Deep Learning for Deepfakes Creation and Detection: A Survey (2019).
4. P. K. P. K. Sawinder Kaur, Deepfakes: temporal sequential analysis to detect face-swapped video clips using convolutional long short-term memory (2020), Journal of Electronic Imaging, p. 29(3), 2020.
5. M. S. Rana and A. H. Sung, DeepfakeStack: A Deep Ensemble-based Learning Technique for Deepfake Detection (2020), 7th IEEE International Conference on Cyber Security and Cloud Computing (CSCloud)/2020 6th IEEE International Conference on Edge Computing and Scalable Cloud (EdgeCom), 2020.

　　更多資安訊息及防護策略，歡迎與NEITHNET資安專家聯繫：info@neithnet.com。