打開(kāi)手機(jī)掃描二維碼
即可在手機(jī)端查看
內(nèi)蒙古一位公司老板與好友進(jìn)行微信視頻通話，對(duì)方聲稱在外地競(jìng)標(biāo)，急需430萬(wàn)元保證金，并希望借用公司賬戶轉(zhuǎn)賬。視頻聊天中，由于對(duì)方的面孔和聲音與好友無(wú)異，科技公司老板深信不疑，分兩筆將錢(qián)款轉(zhuǎn)入對(duì)方銀行賬戶。然而，事后經(jīng)電話確認(rèn)，好友并未借款，老板方知受騙。騙子運(yùn)用AI換臉和擬聲技術(shù)，偽造了好友的身份進(jìn)行詐騙。
這一事件并非孤例。隨著生成式AI技術(shù)的快速普及，大模型在提升效率的同時(shí)，也暴露出前所未有的安全隱患：AI換臉詐騙、訓(xùn)練數(shù)據(jù)泄露、惡意代碼生成、深度偽造攻擊等問(wèn)題頻發(fā)。《2025-2030年全球及中國(guó)人工智能行業(yè)市場(chǎng)現(xiàn)狀調(diào)研及發(fā)展前景分析報(bào)告》顯示，超過(guò)60%的企業(yè)級(jí)大模型部署至少遭遇一種安全事件。如何為AI大模型筑起一道堅(jiān)固的“安全圍欄”，已成為全球技術(shù)界和產(chǎn)業(yè)界的共同命題。
為何AI需要“安全圍欄”
在近日舉辦的A2M人工智能創(chuàng)新峰會(huì)上，數(shù)美科技CTO梁堃分享了當(dāng)前大模型存在的安全風(fēng)險(xiǎn)和解決方案。
以DeepSeek、百川智能為代表的開(kāi)源平臺(tái)大幅降低了技術(shù)門(mén)檻，催生出“千模千面”的差異化應(yīng)用生態(tài)。然而，當(dāng)AI技術(shù)從實(shí)驗(yàn)室走向千家萬(wàn)戶，攻擊面也呈幾何級(jí)擴(kuò)張。
據(jù)統(tǒng)計(jì)，全球大模型安全事件損失已從2023年的85億美元，劇增至2024年的143億美元，預(yù)計(jì)2025年損失將突破235億美元。
攻擊者只需一次成功入侵即可獲利，而作為防守方的企業(yè)卻需要應(yīng)對(duì)海量威脅。開(kāi)源AI工具被攻擊者濫用，降低網(wǎng)絡(luò)攻擊門(mén)檻，使得網(wǎng)絡(luò)攻擊高度規(guī)模化。而大模型使得攻擊分析、攻擊手段更加精準(zhǔn)化、持續(xù)化，挑戰(zhàn)傳統(tǒng)防護(hù)手段的同時(shí)形成難以檢測(cè)的攻擊代碼和海量“零樣本”惡意程序，以繞過(guò)傳統(tǒng)檢測(cè)規(guī)則，給網(wǎng)絡(luò)安全攻防帶來(lái)了高度對(duì)抗性。
AI時(shí)代的安全風(fēng)險(xiǎn)與防控成本呈指數(shù)級(jí)增長(zhǎng)，安全挑戰(zhàn)也已經(jīng)從簡(jiǎn)單的技術(shù)問(wèn)題上升為影響商業(yè)模式、社會(huì)穩(wěn)定甚至文明發(fā)展的關(guān)鍵議題。
如何構(gòu)建大模型“安全圍欄”
梁堃提出“規(guī)劃-訓(xùn)練-運(yùn)營(yíng)”三階段防御體系，在大模型開(kāi)始運(yùn)營(yíng)后再進(jìn)行風(fēng)險(xiǎn)防控往往是“被動(dòng)堵漏”，應(yīng)從開(kāi)發(fā)階段就將安全要求融入AI基因。
在規(guī)劃階段，建立風(fēng)險(xiǎn)坐標(biāo)系，按行業(yè)特性劃分?jǐn)?shù)據(jù)保密等級(jí)（如金融客戶交易數(shù)據(jù)為絕密級(jí)，醫(yī)療基因數(shù)據(jù)為機(jī)密級(jí)），基于“最小權(quán)限原則”，通過(guò)角色權(quán)限控制（RBAC）和多因素認(rèn)證（MFA）限制數(shù)據(jù)訪問(wèn)范圍。例如，算法工程師僅可訪問(wèn)訓(xùn)練所需子集，禁止接觸全量機(jī)密數(shù)據(jù)。
在訓(xùn)練階段，采用自然語(yǔ)言處理技術(shù)（NLP）對(duì)原始語(yǔ)料進(jìn)行自動(dòng)化篩查，識(shí)別并攔截包含敏感詞、機(jī)密信息、違規(guī)數(shù)據(jù)的樣本。對(duì)醫(yī)療影像、產(chǎn)品設(shè)計(jì)圖紙等高密級(jí)數(shù)據(jù)進(jìn)行去標(biāo)識(shí)化處理。通過(guò)規(guī)則引擎和機(jī)器學(xué)習(xí)模型檢測(cè)用戶輸入的高危指令，通過(guò)強(qiáng)化學(xué)習(xí)引導(dǎo)模型優(yōu)先選擇安全數(shù)據(jù)，對(duì)違規(guī)輸出行為進(jìn)行負(fù)向懲罰。
在模型運(yùn)營(yíng)階段，在用戶與模型交互的第一環(huán)節(jié)設(shè)置“訪問(wèn)控制閘門(mén)”，結(jié)合正則表達(dá)式匹配與意圖識(shí)別模型，攔截隱含風(fēng)險(xiǎn)內(nèi)容的輸入，為不同密級(jí)的知識(shí)庫(kù)設(shè)置訪問(wèn)壁壘（如高管戰(zhàn)略會(huì)議記錄僅限特定人員訪問(wèn)）。
針對(duì)高風(fēng)險(xiǎn)場(chǎng)景，采用“動(dòng)態(tài)風(fēng)險(xiǎn)校驗(yàn)+安全代答”機(jī)制，對(duì)生成內(nèi)容進(jìn)行實(shí)時(shí)安全評(píng)分，預(yù)置合規(guī)回復(fù)模板，應(yīng)對(duì)三種敏感問(wèn)題：必須準(zhǔn)確回答的問(wèn)題（如國(guó)家政策解讀），必須糾錯(cuò)的問(wèn)題（如用戶的表述中有明顯錯(cuò)誤），需正向引導(dǎo)的問(wèn)題（如拒絕提供犯罪方法內(nèi)容，轉(zhuǎn)而引導(dǎo)用戶話題至合規(guī)方向）。實(shí)現(xiàn)高風(fēng)險(xiǎn)攔截、中風(fēng)險(xiǎn)轉(zhuǎn)人工、低風(fēng)險(xiǎn)留痕審計(jì)。
“只有大模型能解決大模型的問(wèn)題”，梁堃指出。未來(lái)安全防護(hù)將依賴更大規(guī)模的模型進(jìn)行對(duì)抗訓(xùn)練。例如，通過(guò)訓(xùn)練專門(mén)的“攻擊模型”模擬黑客行為，再用防御模型進(jìn)行迭代優(yōu)化。
大模型安全面臨的挑戰(zhàn)
智能化時(shí)代的AI大模型防御體系在不斷進(jìn)化，但仍面臨著多重挑戰(zhàn)。第一，算力風(fēng)險(xiǎn)，當(dāng)千億級(jí)參數(shù)成為大模型標(biāo)配，算力饑荒正在蔓延。據(jù)工信部統(tǒng)計(jì)，截至2024年底，全國(guó)算力總規(guī)模突破230EFLOPS（百億億次浮點(diǎn)運(yùn)算/秒），但供需缺口仍達(dá)35%，中小企業(yè)尤為艱難。更危險(xiǎn)的是算力黑產(chǎn)。例如，浙江某云計(jì)算平臺(tái)遭黑客利用漏洞非法盜用價(jià)值3700萬(wàn)元的算力資源。
當(dāng)AI系統(tǒng)處理超過(guò)10億條數(shù)據(jù)時(shí)，哪怕最初的數(shù)據(jù)采樣存在0.1%的偏差，經(jīng)過(guò)算法放大后可能演變成系統(tǒng)性歧視。就像用帶有色鏡的相機(jī)拍攝世界，最終呈現(xiàn)的畫(huà)面必然失真。例如，美國(guó)某醫(yī)療AI因訓(xùn)練數(shù)據(jù)中非裔患者樣本不足，導(dǎo)致糖尿病并發(fā)癥誤診率高達(dá)42%，間接造成數(shù)百人延誤治療。
第二，可解釋性風(fēng)險(xiǎn)，大模型基于深度學(xué)習(xí)架構(gòu)，通過(guò)海量數(shù)據(jù)訓(xùn)練形成復(fù)雜的參數(shù)網(wǎng)絡(luò)，其決策過(guò)程如同“黑箱”，難以向用戶直觀呈現(xiàn)推理邏輯與依據(jù)，易引發(fā)決策信任危機(jī)。
第三，物理+智能風(fēng)險(xiǎn)。大模型已經(jīng)被廣泛應(yīng)用于無(wú)人機(jī)等領(lǐng)域的自動(dòng)控制，AI智能體需要長(zhǎng)時(shí)間運(yùn)行，其幻覺(jué)問(wèn)題不僅是文字輸出錯(cuò)誤，而是直接引發(fā)錯(cuò)誤后果。例如在自動(dòng)駕駛場(chǎng)景中，若智能體誤識(shí)別交通標(biāo)志，便可能導(dǎo)致物理事故。
當(dāng)技術(shù)奇點(diǎn)臨近，安全邊界成為人類(lèi)掌控AI的最后堡壘。這道“安全圍欄”的建造，將決定我們是駕馭AI的浪潮，還是被浪潮吞沒(méi)。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時(shí)并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請(qǐng)聯(lián)系我們刪除。
凡來(lái)源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
智慧醫(yī)療網(wǎng) ? 2022 版權(quán)所有 ICP備案號(hào)：滬ICP備17004559號(hào)-5
