盡管人工智能在壹定條件下可以很好地支持戰鬥人員或美國國防部的現有工作，但它仍然存在持續和關鍵的漏洞。如果國防應用程序想要保持靈活有效，這些漏洞必須被徹底了解和完全解決，否則人工智能在關鍵作戰能力中的使用將導致核心和關鍵部分的災難性弱點。
1.申請狀態
人工智能在美國海軍的應用現狀
1.1美國海軍的首要任務是發展AI！
人工智能已經成為提高美國海軍和美國國防部能力的技術重點。美國海軍部長卡洛斯？德爾？卡洛斯德爾·托羅(CarlosDel Toro)將人工智能列為創新美國海軍力量的首要課題。美國海軍作戰部長邁克爾？邁克爾·吉爾戴上將還指出，人工智能在戰場能力和決策靈活性方面提供了許多有希望的突破。
1.2人工智能漏洞:降低其系統的運行預期。
AI技術的進步也伴隨著巨大的風險:由於自動化(包括人工智能)具有持續性和關鍵性的漏洞，如果要將其應用於國防應用，就必須徹底了解並充分解決這些漏洞，才能保持其有效性和靈活性。然而，目前的人工智能系統非常脆弱——即在高強度使用中很容易被欺騙、損壞或出錯。
機器學習，尤其是現代的“深度學習”方法，雖然促進了人工智能的進步，但也非常容易受到欺騙和幹擾。人們通常認為“人機團隊”可以解決這個問題，但這種團隊本身就有很多問題，而且非常脆弱。所以新的AI功能系統只是看似比原有技術優越，但其潛在的脆弱性將為戰爭埋下災難性的缺陷和隱患。
此外，未來應用中的故障模式通常是不可見的。因此，盡管人工智能技術已經取得了很大的進步，但它往往沒有充分意識到這些進步的局限性。它導致了壹個非常危險的現象:冒著過度依賴技術的風險，這可能比預期的要低得多。
1.3美國海軍領導盲目看好人工智能/人機協同。
陸軍未來司令部司令、國防部技術采用部領導邁克？MikeMurray上將在最近的壹次電臺采訪中表示:“我無法想象自動目標識別系統不能比人類記憶做得更好...假設妳要有90%的訓練抽認卡成功率才有資格坐在炮手的位置上，那麽根據妳看到的火炮類型，如果妳有正確的訓練數據和正確的訓練，我無法想象沒有壹個系統(壹個算法)能做得比90%更好。
這種說法反映了人們對人工智能的局限性以及人類與自動化之間的協調困難缺乏想象力。
AI識別的成功率只是基於有限範圍的實驗獲得的數據，現實世界中並沒有壹個成功的案例來證明AI的可靠性。特別是在過去的幾十年裏，自動化在大型關鍵領域系統(如航空、制造和工業控制系統)的應用中存在著許多缺陷和漏洞。所以AI在現實世界的應用要吸取這些經驗教訓，謹慎從事。只有充分理解AI系統本身的局限性，才能更有效地應用AI系統。
目前關於人工智能的說法往往過於樂觀。過度誇大技術預期，人工智能不是萬能的。相反，人工智能是壹套重塑問題及其解決方案的技術。人工智能在軍事或國家安全問題上的可靠應用，必須確定要克服的關鍵問題和限制因素。軍方不能忽視基本的技術現實，渴望開發新技術。否則，軍隊可能會發現自己依賴脆弱的工具，無法勝任實戰任務。
1.4在應用AI之前，要搞清楚它的缺陷。
在軍事行動中，我們必須按照“采用新技術是否會產生未知問題，是否會產生比其旨在解決的問題更危險的問題”這壹標準，對新技術進行仔細評估。對於大規模、復雜和“棘手”的問題，“有解決方案總比沒有好”並不總是可行的。相反，幹預往往會產生新的問題。
2.優缺點的比較
人類與人工智能目標識別的優缺點比較
2.1人類識別的優勢
人類識別和目標識別算法既不等價，也不直接可比。他們以不同的方式執行不同的任務，必須根據不同的標準來衡量。
在目標識別任務中，人類不僅能識別目標本身，還能很好地識別與目標相關的周圍環境。人類在理解目標識別概念的基礎上，壹般能對目標本身及其環境的觀察結果進行總結，並能對不確定因素進行粗略評估，從而對被識別的目標有更清晰的認識。
所以人的視覺和辨別能力比簡單的目標識別抽認卡測試測得的要強很多。
2.2人工智能目標識別
相比之下，人工智能系統的目標識別則是空白。基於視覺的自動分類系統遠非“識別”，只是簡單地解釋和重復已知的模式。這種系統無法理解選擇目標的原因，無法總結他們在編程中要處理的具體模式。但只能通過編程或從數據分析中提取的結論。如果妳遇到壹個從未遇到過的新場景，很可能沒有已知的模式可以應用，人工智能系統提供了無知和毫無根據的指導。
2.3在復雜多變的現實世界中，AI很難描述擴展任務的目標識別性能。
在環境變化、設備退化或故意規避欺騙的現實世界中，除了目標本身，單靠圖像識別無法描述周圍環境。人類更擅長處理圖像失真(例如相機鏡頭上的灰塵或雨水、視頻信號中的電子噪聲以及不可靠的通信圖像中的缺失部分)。在特定圖像失真上訓練的模型可以接近或超過人類在特定圖像失真上的表現，但AI的這種改進只是對訓練模型有很好的表現，在其他未訓練的模型上識別圖像失真的表現並不好。
2.4人體識別和目標識別算法沒有可比性。
盡管在簡單的抽認卡測試中，圖像識別模型可能確實“優於”人類，但使用實驗室數據或在戰鬥測試場景中，人類和算法在目標選擇和識別中的性能是等效的。正如默裏將軍所說，這意味著在這些任務中的表現是不相上下的。但是，這個結論不可信！由於每種情況下所做的功不同，生成結果的可靠性會有很大差異，依靠原始性能可能會導致危險的情況。
圖片:2021 65438+2月，波音公司的MQ-25無人飛機在美國海軍“喬治？h？w？“布什”號航空母艦(CVN-77)的飛行甲板接受指揮。
3.缺點
效應鏈效度
人工智能在應用中的缺陷
3.1在對抗中被騙
目前最好的人工智能方法是基於深度神經網絡機器學習。在簡單的抽認卡資格測試中，人工智能的表現似乎超過了人類。然而，這種性能的代價很高:這些模型會過度學習評估標準的細節，而不是應用於測試案例之外的壹般規則。
壹個特別值得註意的例子就是“對抗性例子”的問題，即對手設計的盡可能混淆技術的情況。壹些研究人員指出，AI的壹個主要顯著特征是，AI很容易被對抗中另壹方采用的令人困惑的技術所欺騙。為了提高人工智能的有效性，軍方必須意識到欺騙可能導致不當行為的程度，並建立相應的理論和周邊系統，以便人工智能支持的決策即使在敵人試圖影響他們的時候也能保持穩定。
3.2決策錯誤
人們可能會認為，讓人類參與到AI系統的決策過程中，可以解決AI本身的漏洞。換句話說，AI系統向人類推薦決策建議，或者AI系統在人類的嚴格監督下做出決策，這樣人類就可以控制AI系統的決策結果。
不幸的是，人機團隊往往被證明是脆弱的。因為人們會對自動化的地位是否可信，自動化所建議的行動是否恰當感到不確定。
1988年7月，美國文森特號(CG-49)意外擊落壹架從阿巴斯班達國際機場起飛的伊朗客機。原因是該艦的宙斯盾系統曾為該客機分配了壹個跟蹤標識符，但這個跟蹤標識符後來被分配給了對方的戰鬥機。根據這個跟蹤標識符，AI系統將迎面而來的飛機描述為對方戰鬥機。根據這壹描述，人類操作員還以為是對方戰鬥機。雖然自動化水平提高了，但是人機團隊的脆弱導致了最近幾起高度自動化汽車的撞車事故(比如特斯拉)，美國海軍的“約翰”號2017。s？2009年，DDG-56號驅逐艦在海上相撞，法航447航班在大西洋上空墜毀。
這就凸顯了人機之間模式混淆的問題，尤其是在復雜系統中傳遞信息或呈現不良人為因素時，可能會加劇。另壹個相關的問題是對自動化的依賴，人類無法找到與機器解決方案相矛盾的信息。評估人機團隊在這兩種情況下的表現是非常重要的——無論目標是提高平均表現還是在特定困難情況下的表現。
3.3判斷受到質疑
有些人可能會認為，特定應用程序的高總體性能或操作認證可以消除這些顧慮。但這也是壹種過於簡單化的觀點。再想象壹下穆雷將軍提出的目標場景:假設系統有98%的準確率，但是經過訓練的人在同樣的測試場景下只有88%的準確率。對於戰場上真正的戰鬥人員來說，當子彈和導彈飛來飛去，生命垂危的時候，戰鬥人員會質疑系統的判斷，還是只是扣動扳機？在危險和緊急情況下，戰鬥人員會因為AI系統的優勢而選擇相信它有更好的性能嗎？
圖:美國海軍壹位作戰專家“約翰？s？“麥凱恩”號驅逐艦(DDG-56)上的作戰信息中心監控著水面接觸。
4.軍事應用的悖論
效應鏈效度
自動化軍事應用中的悖論
4.1過度依賴人工智能會讓人類戰鬥人員遭受“技能退化”
隨著任務的自動化和遠離日常實踐，人類戰鬥人員將遭受所謂的“技能退化”。所以，穆雷將軍想象中的坦克系統戰鬥機，雖然可以“發現”系統錯誤，但並沒有被授權這麽做，需要借助系統來執行任務。例如，這就像普通人使用智能手機中的全球定位系統(GPS)來導航壹樣。在使用GPS之前，普通人的自尋路技能是家常便飯，但是在GPS導航之後，他們的自尋路能力越來越差。這種對AI系統的過度依賴，也會影響飛行員、艦橋觀察組等戰鬥機的專業技能。
4.2人機團隊的影響
雖然人機團隊非常脆弱，但只要給每個部分分配正確的功能，並提供足夠的支持，就可以大大超越人類或機器。以“半電子象棋”為例，人類棋手在選擇棋步時使用計算機輔助決策，即使是弱棋手，也可以在沒有幫助的情況下，達到超越世界頂級象棋大師和世界頂級計算機象棋程序的水平。因此，人機集成和對自動化相關流程的關註可能遠比人類技能或智能更具影響力。
4.3人工智能在軍事上“不獨立”！
軍方絕對不能把人工智能應用當成“獨立的人工智能”。相反，人工智能只能是人類智能和組織能力的延伸。人工智能不是壹個獨立的代理，而是壹個更強大的工具，應用於現有作戰任務的特定方面。
5.多傳感器應用
效應鏈效度
多傳感器有望解決人工智能的漏洞。
5.1多傳感器感知增強人工智能能力
如果單個系統很脆弱，有多個傳感器的系統性能會更好嗎？
多傳感器數據輸入是指系統基於視覺傳感器的邏輯擴展(如增加電磁頻譜、音頻、態勢感知等傳感器系統)，可以增強AI系統可靠發現、定位、跟蹤和瞄準的能力。美國海軍目前正在通過“紅龍”演習評估這種方法的有效性。利用不同領域的傳感器收集不同的信息，就像人類利用多種感官獲取周圍信息壹樣。當壹個人聽到的(聽覺傳感器)和看到的(視覺傳感器)不同時，就會引起他的懷疑和重新審視，這樣就有可能發現潛在的作弊行為。同樣，基於多傳感器感知的AI系統也可以通過這種方式發現可能的作弊行為。
5.2最佳權衡仍需探索。
然而，這種方法是否提高了人工智能系統對抗敵對控制的魯棒性，仍然是壹個懸而未決的問題。每個傳感器到自動化工具的數據輸入仍然受到相同對抗技術的影響。使用多傳感器會增加AI系統的復雜性，而這種復雜性需要在以下兩個方面做出權衡。
壹方面，多傳感器使對手欺騙系統的挑戰復雜化。另壹方面，增加壹個模型中輸入元素的數量和特征的復雜程度，必然會增加數學中敵對控制的可能性(因為可能的欺騙方法的數量增加的速度要快於有效輸入的數量)。需要更多的研究來找到最佳的折衷方案。但是，向多領域感知的轉變當然不能排除欺騙或任何特定方式的可能性。
6.需要註意的原則
效應鏈效度
美國海軍繼續推進人工智能應用時需要考慮的原則
盡管有上述討論，但不可否認的是，美國海軍和美國國防部更廣泛的應用迫切需要推動人工智能。然而，戰鬥人員必須睜大眼睛，他們必須極其謹慎地對待何時、何地以及如何使用這些技術。為了支持這種謹慎，他們應該考慮以下三個原則，以便在美國國防部的應用中明智和負責任地部署人工智能系統:
人工智能系統的實際應用需要強有力的證據來證明其有效性。因為如果沒有強有力的證據，人們會懷疑這些系統的優勢是否像報道的那麽好。在特定的訓練數據集、環境、測試條件和假設下，AI系統可能會表現出更好的性能，但當這些條件發生變化時，得到的實驗結果可能會有很大差異，因此很難將有限條件下的實驗結果實際轉化為符合運營要求的實際應用。
人工智能系統的部署必須有足夠的技術和社會技術安全網。克服環境和敵人的幹擾是壹個困難而未解決的問題。因為人工智能是基於模式的(編程或者從數據中提取)，當這些模式失效時，它的作戰能力就會受到先天的限制。
人機團隊必須作為壹個整體系統進行測試。人類和機器擅長處理不同的部分。分配功能和組合這些能力不僅不簡單，而且往往違反直覺。整個系統需要仔細評估，以支持任何關於應用程序的可信性或適用性的聲明。
目前，人工智能最有效的應用場景是解決範圍有限、定義清晰細致的問題，並且能夠真正支持戰鬥人員或美國國防部的現有工作。美國領導人還警告說，在當今世界，如果美國不采用最新技術，那麽美國將面臨失去軍事技術競爭優勢的風險。目前的當務之急是，美國海軍的領導人必須徹底了解並全面解決AI系統的漏洞，使AI系統在關鍵作戰能力中的應用不會導致核心和關鍵部位出現災難性的弱點。
聲明:本文由陳轉自學術加。文章內容為作者個人觀點。本微信官方賬號整理/轉載僅用於分享和傳達不同觀點。如有異議，請聯系我們！
轉自學術加
作者陳晨曦
編輯鄭石
研究所簡介
國際技術經濟學院(IITE)成立於6月1985 11。它是隸屬於國務院發展研究中心的非營利性研究機構。其主要職能是研究我國經濟、科技和社會發展中的重大政策性、戰略性和前瞻性問題，跟蹤分析世界科技和經濟發展趨勢，為中央和有關部委提供決策咨詢服務。“全球科技地圖”是國際技術經濟研究所的官方微信賬號，致力於向公眾傳遞前沿的技術信息和科技創新洞察。
地址:北京市海澱區小南莊20號樓A座
電話:010-82635522
微信:iite_er