人工智能并不總是被用來做好事。特別是，網絡攻擊者可以使用AI來增強他們的攻擊和擴大他們的行動。微軟（Microsoft）、普渡大學（Purdue）和本-古里安大學（Ben-Gurion University）、佐治亞理工學院、新加坡南洋理工大學等大學的研究人員最近發(fā)表了一項調查，探討了這種“攻擊性人工智能”（offensive AI）對組織的威脅。調查確定了攻擊對手可以用來支持其攻擊的不同能力，并根據嚴重程度對每種能力進行排名，提供對攻擊對手的深度洞察。
這項調查考察了現有的關于攻擊性人工智能的研究，以及來自MITRE、IBM、空客、博世、日立、富士和華為等公司的回應，確定了攻擊對手使用人工智能的三個主要動機：覆蓋率、速度和成功率。人工智能使攻擊者能夠通過破壞機器學習模型的訓練數據來“毒害”機器學習模型，并通過側信道分析竊取憑證。它可以用于漏洞檢測、滲透測試和證書泄漏檢測等人工智能方法的武器化。安帝科技摘編部分關鍵內容供大家學習參考。
前言
網絡攻擊活化的今天，能源、效能、政府機構、醫(yī)療和金融等機構一直都是網絡攻擊的重點目標。這些網絡攻擊都是由經驗豐富的黑客手動實施的。近年來，人工智能（AI）的發(fā)展迅猛，這使得軟件工具的創(chuàng)造成為可能，這些軟件工具有助于實現預測、信息檢索和媒體合成等任務的自動化。在此期間，學術界和工業(yè)界的成員利用AI來改善網絡防御狀況和威脅分析。然而，AI是一把雙刃劍，攻擊者可以利用它來改進他們的惡意活動。
最近，人們做了很多工作來識別和減輕對基于AI的系統的攻擊（對抗性機器學習）。然而，一個具有人工智能能力的對手能做的遠不止毒害或愚弄機器學習模型這么簡單。對手可以改進他們的戰(zhàn)術來發(fā)動攻擊，這在以前是不可能的。例如，通過深度學習，可以通過模仿上級的面孔和聲音來執(zhí)行高效的魚叉式網絡釣魚攻擊。也有可能通過網絡、限制命令和控制（C&C）通信，使用自動化執(zhí)行橫向移動來提高隱形能力。其他能力包括使用人工智能來發(fā)現軟件中的零日漏洞，自動化逆向工程，有效地利用側通道，構建真實的假角色，并以更高的效率執(zhí)行更多的惡意活動。
一、何為攻擊性AI？
攻擊性AI有兩種形式：使用AI的攻擊和攻擊AI。例如，對手可以（1）使用AI來提高攻擊的效率（例如，信息收集、攻擊自動化和漏洞發(fā)現）或（2）使用AI的知識來對防御者的AI產品和解決方案進行漏洞利用（例如，逃避防御或在產品中植入木馬）。后一種形式的攻擊性人工智能通常被稱為對抗性機器學習。
一是使用AI技術的網絡攻擊；雖然有很多在網絡攻擊中使用的AI任務，但最為常見的不外乎是預測、生成、分析、獲取和決策。
預測。這是根據以前觀察到的數據做出預測的任務。常見的例子有分類、異常檢測和回歸。攻擊性目的預測的例子，比如基于動作識別智能手機上的按鍵，選擇攻擊鏈中最薄弱的環(huán)節(jié)以及定位可利用的軟件漏洞。
生成。這是創(chuàng)造符合目標分布內容的任務，在某些情況下，這需要人類的現實主義。攻擊性AI使用生成的例子包括篡改媒體證據、智能口令猜測和流量整形以避免檢測。深度偽造是這類攻擊性人工智能的另一個例子。深度偽造是一種由DL模型創(chuàng)建的可信媒體。該技術可以通過模擬受害者的聲音或面部來實施網絡釣魚攻擊。
分析。這是從數據或模型中挖掘或提取有用見解的任務。攻擊性AI分析的一些例子是使用可解釋的人工智能技術來識別如何更好地隱藏人工制品（例如，在惡意軟件中），以及在組織中聚集或嵌入信息來識別資產或目標，用于社會工程。
檢索。這是尋找與給定查詢匹配或語義上類似的內容的任務。例如，在攻擊中，檢索算法可以用來跟蹤一個被破壞的監(jiān)控系統中的一個對象或個人，通過對社交媒體帖子進行語義分析，找到心懷不滿的員工（作為潛在的內部威脅者），并在偵察階段收集開源情報（OSINT）期間對冗長的文件進行總結。
決策。制定戰(zhàn)略計劃或協調行動的任務。攻擊性人工智能的例子是使用群體智能來操作一個自治的僵尸網絡和使用啟發(fā)式攻擊圖來規(guī)劃對網絡的最優(yōu)攻擊。
二是直接針對AI的網絡攻擊，即對抗性機器學習；網絡攻擊者基于自身的AI知識，可利用機器學習的漏洞來破壞ML的機密性、完整性和可用性。典型的手法有修改訓練數據、修改測試數據、分析模型的響應、修改訓練代碼、修改模型參數等。
修改訓練數據。在這里，攻擊者修改訓練數據以損害模型的完整性或可用性。拒絕服務（Denial of service, DoS）投毒攻擊是指攻擊者降低模型的性能，直至其不可用。后門中毒攻擊或木馬攻擊是指攻擊者教模型識別觸發(fā)行為的不尋常模式（例如，將樣本分類為安全）。這種攻擊的無觸發(fā)版本會導致模型在不向樣本本身添加觸發(fā)模式的情況下錯誤分類測試樣本。
修改測試數據。在這種情況下，攻擊者修改測試樣本，使它們錯誤分類。例如，改變惡意電子郵件的字母，使其被誤認為是合法的，或改變圖像中的幾個像素，以逃避面部識別。因此，這些類型的攻擊通常被稱為逃避攻擊。通過修改測試樣本來增加模型的資源消耗，攻擊者也可以降低模型的性能。
分析模型的響應。在這里，攻擊者向模型發(fā)送大量精心設計的查詢，并觀察響應，以推斷關于模型的參數或訓練數據的信息。為了了解訓練數據，有隸屬關系推理、去匿名化和模型反演攻擊。為了學習模型的參數，有模型竊取/提取、盲點檢測、狀態(tài)預測。
修改訓練代碼。在這種情況下，攻擊者通過修改用于訓練ML模型的庫（例如，通過一個開源項目）來執(zhí)行供應鏈攻擊。例如，一個受損（訓練）函數插入了一個后門。
修改模型參數。在這個攻擊向量中，攻擊者訪問一個經過訓練的模型（例如，通過一個模型Zoo或安全漏洞），并篡改其參數來插入一個潛在的行為。這些攻擊可以在軟件或硬件級別上執(zhí)行（又稱故障攻擊）。
根據場景的不同，攻擊者可能不完全了解或訪問目標模型：
白盒（完全了解）攻擊：攻擊者知道目標系統的一切。對于系統防御者來說，這是最糟糕的情況。雖然在實踐中不太可能發(fā)生，但這個設置很有趣，因為它為攻擊者的性能提供了一個經驗上限。
灰盒（有限了解）攻擊：攻擊者對目標系統（如學習算法、體系結構等）只有部分了解，但對訓練數據和模型參數一無所知。
黑盒（零了解）攻擊：攻擊者只知道模型被設計用來執(zhí)行的任務，以及系統一般使用的是哪種特征（例如，惡意軟件檢測器是否經過訓練，可以執(zhí)行靜態(tài)或動態(tài)分析）。攻擊者還可以以黑盒的方式分析模型的響應，以獲得對某些輸入的反饋。
二、攻擊性AI的影響
傳統的對手使用手工工作、通用工具和專家知識來達到他們的目標。相比之下，具有人工智能能力的對手可以利用人工智能自動化其任務，增強其工具，并逃避檢測。這些新能力會影響網絡攻殺鏈。
首先，讓研究人員討論一下為什么對手會考慮在進攻一個組織時使用AI。
進攻性人工智能的三大動因。在研究人員的調查中，研究人員發(fā)現對手使用人工智能攻擊一個組織有三個核心動機：覆蓋率、速度和成功率。
覆蓋率。通過使用人工智能，對手可以通過自動化來擴大其操作規(guī)模，從而減少人力勞動，增加成功的機會。例如，AI可以用來自動制造和發(fā)起魚叉式釣魚攻擊，根據從OSINT收集的數據進行提煉和推理，同時維持對多個組織的攻擊，并在網絡中獲得更多資產以獲得更強的立足點。換句話說，人工智能使對手能夠以更小的勞動力以更高的精度攻擊更多的組織。
速度。有了AI，對手可以更快地達成目標。例如，機器學習可用于幫助提取憑證，在橫向移動時智能地選擇下一個最佳目標，監(jiān)視用戶獲取信息（例如，對竊聽的音頻執(zhí)行語音到文本），或在軟件中查找零日漏洞。通過更快地到達目標，對手不僅可以節(jié)省其他冒險活動的時間，還可以減少自己在防御者網絡中的存在時間。
成功率。通過增強AI的操作，對手將增加其成功的可能性。即可以用來（1）通過最小化或偽裝網絡流量（如C2流量）使操作更秘密，利用防御者人工智能模型如ML-based入侵檢測系統（IDS）的漏洞，（2）識別攻擊機會良好的社會工程攻擊目標和新穎的漏洞，（3）啟用更好的攻擊向量，如在魚叉式釣魚攻擊中使用深度偽造（deepfakes），（4）規(guī)劃最優(yōu)攻擊策略，（5）通過自動機器人協調和惡意軟件混淆加強網絡的持久性。
研究人員注意到，這些動機并不相互排斥。例如，使用人工智能來自動化釣魚活動可以增加覆蓋率、速度和成功率。
人工智能威脅代理。很明顯，一些具有人工智能能力的威脅代理將能夠執(zhí)行比其他代理更復雜的人工智能攻擊。例如，國家行為者可以潛在地啟動智能自動僵尸網絡，而黑客激進分子可能也很難做到這一點。然而，研究人員多年來觀察到，人工智能已經變得越來越容易使用，甚至對新手用戶也是如此。例如，網上有各種各樣的開源深度造假技術，即插即用。因此，隨著人工智能技術的普及，某些威脅因子之間的復雜性差距可能會隨著時間的推移而縮小。
新的攻擊目標。除了傳統的攻擊目標，具有AI能力的對手也有新的攻擊目標：
破壞。對手可能想要利用其對AI的了解來對組織造成破壞。例如，它可能希望通過毒害其數據集來改變性能，或者在模型中植入木馬以供后期利用，從而改變組織產品和解決方案中的ML模型。此外，對手可能想要對AI系統執(zhí)行對抗性機器學習攻擊。例如，在監(jiān)視中逃避檢測，或使財務或能源預測模型偏向對手。最后，對手也可以使用生成AI以現實的方式添加或修改證據。例如，修改或栽植監(jiān)控錄像、醫(yī)療掃描或財務記錄中的證據。
間諜活動。有了人工智能，對手可以提高其間諜組織和提取/推斷有意義信息的能力。例如，它們可以使用語音到文本算法和情感分析來挖掘有用的音頻記錄或通過聲學或運動側通道竊取憑證。人工智能還可以用于從加密的網絡流量中提取潛在信息，并通過組織的社交媒體跟蹤用戶。最后，攻擊者可能希望利用群體智能實現一個自主的持久立足點。
信息盜竊。具有人工智能能力的對手可能想要竊取目標組織訓練的模型，用于未來的白盒對抗性機器學習攻擊。因此，一些數據記錄和專有數據集可能作為訓練模型的目標。特別是，客戶和員工的音頻或視頻記錄可能會被竊取，以制造令人信服的深度假模仿。最后，通過人工智能逆向工程工具，知識產權可能成為目標。
新的攻擊能力。通過研究人員的調查，研究人員已經確定了33個進攻性AI能力（OAC），直接提高對手的能力，以實現攻擊步驟。這些OAC可以分為七個類別：（1）自動化，（2）活動彈性，（3）證書盜竊，（4）漏洞利用開發(fā)，（5）信息收集，（6）社會工程，和（7）隱身。這些能力中的每一個都可以與前述介紹的三個激勵因素相關聯。
圖1
在圖1中，研究者展示了OACs并映射了它們對網絡殺傷鏈的影響（MITRE企業(yè)ATT&CK模型）。圖中的一條邊表示指定的OAC提高了攻擊者實現給定攻擊步驟的能力。從圖中可以看到進攻AI影響著進攻模型的各個方面。
這些能力可以通過以下兩種方式之一實現：
基于人工智能的工具是在對手的武器庫中執(zhí)行特定任務的程序。例如，一個用于智能預測口令、模糊惡意代碼、規(guī)避的流量整形、操縱人物等的工具。這些工具通常以機器學習模型的形式出現。
人工智能驅動的機器人是自動機器人，可以執(zhí)行一個或多個攻擊步驟，無需人工干預，或與其他機器人協調，有效地實現自己的目標。這些機器人可能使用群智能和機器學習的組合來操作。
三、AI的直接網絡威脅
一些組織告訴研究人員，他們認為開發(fā)、社會工程和信息收集是最具威脅性的人工智能技術。他們尤其擔心人工智能被用于模仿，比如深度造假來實施釣魚攻擊和逆向工程，這可能會讓攻擊者“竊取”專有算法。此外，他們還擔心，由于人工智能的自動化過程，對手可能會從一些緩慢的隱蔽行動轉變?yōu)樵S多快節(jié)奏的行動，以擊垮防御者，增加他們的成功機會。
但這些擔憂并沒有刺激國防投資。數據認證初創(chuàng)公司Attestiv對企業(yè)進行的一項調查顯示，只有不到30%的企業(yè)表示，他們已經采取措施減輕深度偽造攻擊的影響。盡管有“深度偽造檢測挑戰(zhàn)”（Deepfake Detection Challenge）和微軟（Microsoft）的“視頻驗證器”（Video Authenticator）等創(chuàng)新，但隨著生成技術的不斷改進，打擊深度偽造可能仍具有挑戰(zhàn)性。
事實上，研究人員預計，隨著機器人獲得了令人信服的深度偽造網絡釣魚呼叫的能力，網絡釣魚活動將變得更加猖獗。他們還表示，未來幾年，攻擊性人工智能在數據收集、模型開發(fā)、培訓和評估等領域的應用可能會增加。
為了避免這些威脅，研究人員建議企業(yè)專注于開發(fā)后處理工具，以保護軟件在開發(fā)后不被分析。他們還建議將安全性測試、保護和模型監(jiān)控與MLOps集成起來，這樣組織就可以更容易地維護安全的系統。MLOps是“機器學習”和“信息技術操作”的組合，是一門新的學科，涉及數據科學家和IT專業(yè)人員之間的合作，目的是將機器學習算法產品化。
研究人員寫道：“隨著人工智能的快速發(fā)展和開放的可及性，研究人員預計將看到對組織的攻擊策略發(fā)生明顯的轉變。”“人工智能將使對手能夠同時更頻繁地瞄準更多組織。因此，攻擊對手可能會選擇用數千次擊敗防御者響應團隊的嘗試，來獲得一次成功的機會。事實上，當攻擊對手開始使用AI支持的機器人時，防御者也將被迫使用機器人自動化防御。讓人類保持在控制和決定高層戰(zhàn)略的循環(huán)中是一項現實的和倫理的要求。然而，需要進一步的討論和研究，以形成安全、令人滿意的政策。”
研究人員對工業(yè)界和學術界對AI對組織的威脅認識進行了調查統計。總的來說，學術界認為人工智能對組織的威脅比對整個行業(yè)的威脅更大。有人可能會說，這種差異是因為工業(yè)界傾向于更加實際和立足于當前，而學術界則考慮潛在的威脅，從而考慮未來。
令人驚訝的是，學術界和工業(yè)界都認為使用AI隱身是最不具威脅性的OAC類別。盡管有大量的研究表明IDS模型是如何脆弱的，但IDS規(guī)避方法被認為是智能掃描之后第二大可攻破的OAC。這可能與對手無法在實際網絡中評估其基于人工智能的規(guī)避技術有關，因此存在檢測風險。
總的來說，工業(yè)界和學術界對于最具威脅性的OACs存在一些分歧。在33個OAC中，最具威脅的10個排名如下：
四、小結
攻擊性AI的威脅，工業(yè)界和學術界存在不同的認識。可以理解為什么對組織的最高級別威脅與社會工程攻擊和軟件分析（漏洞檢測和逆向工程）有關。這是因為這些攻擊超出了防御者的控制。例如，人是最薄弱的環(huán)節(jié)，即使經過安全意識培訓。然而，對于深度偽造，就更難以減輕這些社會工程攻擊。同樣的道理也適用于軟件分析，在軟件分析中，ML已經證明自己可以很好地處理語言，甚至編譯二進制文件。學術界最關心生物識別的原因是它幾乎只使用ML，學術界很清楚ML的缺陷。
相信不久的將來，進攻性AI事件將會增加，但只是在攻擊模型的前面和后面（偵查、資源開發(fā)和影響——例如篡改記錄）。這是因為目前AI無法有效地自主學習。因此，不太可能在不久的將來看到僵尸網絡能夠自主且動態(tài)地與各種復雜系統（比如一個組織的網絡）交互。因此，由于現代的對手在組織網絡上的信息有限，他們行動受限，數據收集、模型開發(fā)、培訓和評估均發(fā)生在離線攻擊中。特別地，注意到DL模型非常大，并且需要大量的資源來運行。這使得它們在傳輸到網絡或現場執(zhí)行時易于檢測。然而，隨著DL的增加，模型的足跡將變得不那么異常。預計不久的將來，網絡釣魚活動將變得更加猖獗和危險，因為人類和機器人被賦予了發(fā)出令人信服的深度虛假網絡釣魚活動的能力。
AI是一把雙刃劍。本身用于安全的人工智能技術也可以被用于攻擊。有些技術有雙重用途。例如，ML研究拆卸、漏洞檢測和滲透測試。有些技術可以被重新利用。例如，它不是使用可解釋的 AI 來驗證惡意軟件檢測，而是用于隱藏人工制品。有些技術是可以逆轉的。例如，內部檢測模型可以用來幫助掩蓋軌跡和避免檢測。為了幫助提高人們的意識，建議研究人員注意他們的工作成果的影響，即使是防御技術。一個警告是，“劍”可以干好事，也可干壞事，這取決于持劍者。例如，生成AI（深度造假）更適合攻擊者，但異常檢測更適合防御者。
