《法治周末》記者 孟偉

AI技術(shù)如同一把雙刃劍，在為生活帶來便捷的同時，也給未成年人的網(wǎng)絡(luò)保護帶來新的課題。

在2024年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會未成年人網(wǎng)絡(luò)保護論壇上，共青團中央發(fā)布的《第6次中國未成年人互聯(lián)網(wǎng)使用情況調(diào)查報告》顯示，2023年我國未成年網(wǎng)民規(guī)模上升至1.96億人，未成年人互聯(lián)網(wǎng)普及率達97.3%，互聯(lián)網(wǎng)已經(jīng)全面融入當代未成年人的日常生活和學習當中。但隨之而來的，是未成年人網(wǎng)絡(luò)保護問題的集中爆發(fā)。

在“AI脫衣”事件里，上游不法分子利用AI技術(shù)，將無辜人士甚至未成年人的照片制作成“裸照”，打包售賣；還有些不法分子，利用“AI換臉”軟件，把從網(wǎng)上收集來的未成年學生面部信息，替換到淫穢視頻里，再進行有償銷售，不僅侵害了未成年人的肖像權(quán)，更給他們的心靈蒙上了一層難以抹去的陰影。

AI聊天軟件同樣亂象叢生。不少AI聊天軟件毫無年齡限制，青少年模式更是形同虛設(shè)。有些軟件里充斥著色情擦邊、語言暴力等內(nèi)容，甚至誘導(dǎo)未成年人進行不恰當?shù)膶υ?。曾有家長哭訴，自己的女兒沉迷AI聊天軟件，和里面的AI角色以“老公”“老婆”相稱，不僅分享日常秘密，還因過度沉迷導(dǎo)致精神狀態(tài)出現(xiàn)問題。

這些真實發(fā)生的案例，都在提醒著我們，AI時代下，未成年人網(wǎng)絡(luò)安全問題已刻不容緩。

5月17日，“六一”兒童保護倡導(dǎo)暨“女童保護”十二周年活動上發(fā)布的《2024年性侵兒童案例統(tǒng)計分析及防性侵教育調(diào)查報告》（以下簡稱《報告》）中披露的一系列數(shù)據(jù)與案例，更為我們揭開了AI時代未成年人遭遇的網(wǎng)絡(luò)性暴力的嚴峻現(xiàn)實，也促使社會各界開始深入思考破局之法。

新型網(wǎng)絡(luò)性侵手段日益威脅兒童安全

“最高人民檢察院的數(shù)據(jù)顯示，2024年前11個月，全國檢察機關(guān)起訴的性侵未成年人罪犯高達4.1萬人，在侵害未成年人的各類犯罪案件中，性侵就占到61%。”報告發(fā)布人，北京眾一公益基金會理事長、“女童保護”發(fā)起人，鳳凰網(wǎng)副總編輯孫雪梅表示，當前，兒童防性侵的治理形勢仍然十分嚴峻。

“女童保護”團隊發(fā)布的《報告》中關(guān)于性侵兒童的相關(guān)數(shù)據(jù)，基于媒體公開報道的205起案例。

《報告》指出，在這205起案例中，熟人作案比例高達82.74%，其中教師、教職工等職業(yè)占比30.21%；校園及培訓(xùn)機構(gòu)成為案件高發(fā)場所，占比22.22%；未成年人施害者比例增至8.78%，年齡最小的僅13歲。

《報告》同時指出，AI換臉、虛擬誘導(dǎo)等新型網(wǎng)絡(luò)性侵手段對兒童安全的威脅日益加劇。205起未成年人遭受性侵害的案件中，通過網(wǎng)絡(luò)實施的案例共有44起，占全部案例的21.46%。這44起通過網(wǎng)絡(luò)實施的性侵案件中，有40起為多次侵害，其中部分案件的作案時間跨度超過5年。在這些案例中，有11起案件的受害人數(shù)達到5人以上，單案受害人數(shù)最多達79人。

孫雪梅指出，網(wǎng)絡(luò)性侵害的成因較為復(fù)雜，一方面，未成年人自我保護意識薄弱，缺乏識別網(wǎng)絡(luò)誘導(dǎo)和操控行為的能力，容易在虛擬關(guān)系中陷入依賴與迷惑；另一方面，網(wǎng)絡(luò)平臺監(jiān)管存在漏洞，實名認證不嚴格、內(nèi)容審查不到位，為施害者提供了可乘之機。

“此外，從社會大環(huán)境來看，性教育的缺失和家庭溝通的封閉，使許多受害者在遭遇侵害后羞于啟齒、不敢求助，導(dǎo)致侵害長期持續(xù)。這些因素共同作用，構(gòu)成了當前網(wǎng)絡(luò)性侵害行為頻發(fā)、隱蔽性強、持續(xù)時間長、受害人數(shù)眾多的現(xiàn)實困境。”孫雪梅說。

上網(wǎng)時長與遭遇網(wǎng)絡(luò)侵害的可能性相關(guān)

2024年2月，浙江省公安廳通過公眾號“浙江網(wǎng)警”通報一起“隔空猥褻”案，犯罪嫌疑人陳某發(fā)布贈送游戲皮膚的“釣魚”信息，尋找并引誘未成年女孩給其發(fā)送不雅照片或視頻，受害女孩人數(shù)多達30人。

警方調(diào)查顯示，陳某自2019年起在手游平臺公聊頻道，以“贈送游戲皮膚”“每月給錢”為誘餌，找尋缺乏游戲裝備購買力的未成年女性私聊，互加QQ后繼續(xù)引誘，提出“試用期三天”的條件，并稱“如果你乖乖聽話，就可以兌現(xiàn)報酬”。受害人答應(yīng)后，陳某先以拍攝身體某部位照片的方式進行初階段控制，后步步緊逼，逐步要求受害人拍攝私密部位照片及視頻。其間，陳某頻繁要求拍攝，若受害人放棄或未達標，他便尋找下一個目標。陳某交代此舉是為尋求刺激、滿足私欲。目前陳某因猥褻罪被批準逮捕。

未成年人為什么會在網(wǎng)絡(luò)當中遇到這些人并滿足其要求？

《報告》指出，在對2592份隨機抽樣的有效問卷進行統(tǒng)計后發(fā)現(xiàn)，手機是兒童上網(wǎng)的主要工具，且兒童上網(wǎng)行為具有碎片化特征，使家長管理面臨挑戰(zhàn)。在上網(wǎng)時長方面，77.09%的兒童每天上網(wǎng)時間不超過1小時（1693人），18.17%的兒童上網(wǎng)時間為2小時至3小時，上網(wǎng)時間達4小時至5小時和5小時以上的則分別占2.23%和2.5%。

“女童保護”調(diào)查發(fā)現(xiàn)，盡管多數(shù)兒童的每日上網(wǎng)時間少于1小時，以“淺接觸”網(wǎng)絡(luò)信息為主，但接觸到不良信息的可能性依舊較大。此外，隨著孩子上網(wǎng)時長的增加，其遭遇網(wǎng)絡(luò)侵害或網(wǎng)絡(luò)性暴力行為（如誘騙、性騷擾、性勒索）的可能性呈現(xiàn)遞增趨勢，形成風險累積效應(yīng)。日使用網(wǎng)絡(luò)時長為5小時及以上的孩子，被發(fā)現(xiàn)遭遇過相關(guān)侵害的比例高達三成。

北京青少年法律援助與研究中心副主任李靜雯向《法治周末》記者表示：“未成年人遭遇網(wǎng)絡(luò)性暴力，背后往往還可能存在家庭情感關(guān)注不足的因素。青春期孩子與家長溝通不暢，部分家庭存在性教育等話題禁忌，導(dǎo)致孩子通過深夜網(wǎng)絡(luò)陌生社交平臺尋求情感慰藉，施害者則利用孩子弱點打感情牌建立關(guān)系。”

“當家長發(fā)現(xiàn)異常選擇報警時，若未妥善處理與孩子的關(guān)系，孩子可能因?qū)κ┖φ弋a(chǎn)生情感依賴而反抗，進而承受多重傷害：家長發(fā)現(xiàn)時打破性羞恥心的初次傷害、送走‘所愛之人’的二次傷害、意識到被騙后的深層次傷害，可能引發(fā)雙向情感障礙、心理抑郁甚至自殘行為?！币虼死铎o雯建議，家長發(fā)現(xiàn)問題后，除及時固定證據(jù)外，需注重與孩子的溝通疏導(dǎo)，借助社工、司法機關(guān)力量幫助孩子化解內(nèi)心矛盾，避免次生傷害。

法律與技術(shù)的協(xié)同防御成破局關(guān)鍵

隨著生成式人工智能的發(fā)展，AI劇情聊天軟件中的內(nèi)容還可能會對未成年人的心理造成不良影響。

家住四川的黃月（化名）發(fā)現(xiàn)自己10歲的妹妹與AI男模在聊天軟件中的對話露骨，妹妹扮演“大小姐”“惡毒女配”時提出“揪住她的頭發(fā)扇巴掌”“拿著刀劃向她的臉”等暴力要求，在妹妹參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)。

黃月指出，AI劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設(shè)是高傲無禮的；有些則被設(shè)定“把她追到手”的劇情目標，在與其聊天過程中含有軟色情意味的“擦邊”對話，還有帶著如“病嬌”等標簽的人物角色。

還有家長發(fā)現(xiàn)自己的兒子沉迷與名為“小林”的AI角色聊天，甚至稱呼對方為“男友”或“老公”。

李靜雯指出了未成年人模式在實際應(yīng)用中的現(xiàn)實困境與挑戰(zhàn)。她表示，“國家設(shè)置未成年人模式的初衷是好的，但由于該模式下普遍使用‘黑名單’的方式進行內(nèi)容過濾與篩選，并會對部分功能進行閹割，導(dǎo)致對孩子們的吸引力降低。他們往往會想方設(shè)法繞開該模式，一旦進入普通模式后，便會在復(fù)雜的網(wǎng)絡(luò)世界中面臨較大的安全風險。因此，如何提高未成年人模式對孩子們的吸引力，如何充分發(fā)揮該模式在未成年人網(wǎng)絡(luò)保護中的積極作用，是我們亟待思考和解決的問題”。

字節(jié)跳動公益平臺行業(yè)發(fā)展負責人高鵬飛表示，未成年人機制在抖音集團已經(jīng)實現(xiàn)全覆蓋，“在未成年人保護工作中，我們首先著重強化身份識別，不僅結(jié)合國家政策在注冊時核驗用戶身份，還針對部分未成年人繞開機制的問題，創(chuàng)新性地借助AI能力，依據(jù)用戶行為判定其是否為未成年人，通過已登錄青少年模式、未登錄及AI實時判斷等方式形成兜底體系”。

高鵬飛介紹：“在具體保護措施上，社交安全管控層面，運用系統(tǒng)性AI精準識別風險賬號，對向未成年人發(fā)送內(nèi)容的風險賬號，實施包括內(nèi)容攔截（日攔截量超130萬條）、風險提示（日提示量超225萬條）等措施，對發(fā)送嚴重不良內(nèi)容的賬號進行重點處置（日處理超3萬條），自動過濾未成年人瀏覽內(nèi)容中存在的擦邊、暴力傾向等不良信息。此外，當青少年通過人工智能傾訴困惑或遭遇傷害時，平臺會立即進行心理輔導(dǎo)安慰，并鼓勵其通過合法途徑暴露問題，推動家校協(xié)同解決?！?/p>

有專家認為，面對AI技術(shù)的異化，法律與技術(shù)的協(xié)同防御成為破局關(guān)鍵。

中國政法大學未成年人事務(wù)治理與法律研究基地副主任苑寧寧提出了利用三級預(yù)防模式結(jié)合AI技術(shù)的思路，試圖從源頭上遏制網(wǎng)絡(luò)性暴力。

苑寧寧指出，一般預(yù)防可以通過加強AI通識教育的方式，提升未成年人對網(wǎng)絡(luò)風險的識別能力，同時讓未成年人認識到網(wǎng)絡(luò)空間的法律邊界。在臨界預(yù)防方面，互聯(lián)網(wǎng)企業(yè)可以利用哈希算法等技術(shù)手段，自動檢測并阻止兒童色情制品的傳播。此外，再犯預(yù)防上，可以通過實名制等措施，將相關(guān)人員納入禁止名單，防止其再次實施網(wǎng)絡(luò)性暴力行為。

他進一步強調(diào)，AI技術(shù)的發(fā)展需要遵循風險預(yù)防原則。在新技術(shù)尚未完全明確其潛在危害時，應(yīng)提前進行評估和干預(yù)。他建議企業(yè)應(yīng)在產(chǎn)品和服務(wù)的研發(fā)、運營過程中，進行自我評估和第三方評估，確保其對未成年人的安全性。此外，他還提到可以通過設(shè)計未成年人模式、家長模式等，為未成年人提供更安全的網(wǎng)絡(luò)環(huán)境。

專家建議推動社會治理體系的結(jié)構(gòu)性再造

全國政協(xié)委員、首都經(jīng)濟貿(mào)易大學特大城市經(jīng)濟社會發(fā)展研究院副院長郭媛媛指出，當前互聯(lián)網(wǎng)及新技術(shù)的發(fā)展呈現(xiàn)“融、通、跨、連”四大特征，極大改變了傳統(tǒng)社會的空間結(jié)構(gòu)和運作模式，虛擬空間打破了地域限制，使更多人跨區(qū)域連接形成新的社會關(guān)系。這種變化使得原本基于“點—線—面”邏輯構(gòu)建的現(xiàn)實社會政策機制，在面對虛擬空間時顯得力不從心。尤其在未成年人保護方面，盡管我國在政策法規(guī)層面不斷完善，但在執(zhí)行過程中仍面臨部門協(xié)同差異大、政策落實碎片化等問題。

郭媛媛建議，“應(yīng)構(gòu)建一個全國性的跨區(qū)域、跨部門協(xié)同機制，實現(xiàn)現(xiàn)實與虛擬世界之間規(guī)則的有機銜接，并推動法律、教育和保護制度全面更新，以適應(yīng)數(shù)字時代的未成年人保護需求”。她舉例說，比如，北京這樣的超大城市，在技術(shù)、教育、科研和社會組織等方面具有豐富的資源，可以發(fā)揮榜樣示范作用。通過高位設(shè)計，將各方力量集成到一個系統(tǒng)化的保護體系中，形成全社會共同參與的未成年人網(wǎng)絡(luò)保護格局。

郭媛媛進一步指出，傳統(tǒng)社會治理理念較難應(yīng)對、處置好AI為通用技術(shù)帶來的深層變革，應(yīng)通過“強化技術(shù)治理”與“激發(fā)社會行動”雙輪驅(qū)動，推動社會治理體系的結(jié)構(gòu)性再造。

高鵬飛還提到，在未成年人網(wǎng)絡(luò)保護方面需要多方協(xié)同。他建議，國家出臺具體的法律法規(guī)或政策指南，明確企業(yè)在數(shù)據(jù)使用、跨平臺協(xié)作等方面的責任與邊界。同時，建立平臺間的聯(lián)動機制，盡快推動統(tǒng)一識別標準和信息共享機制，實現(xiàn)多平臺間的實時協(xié)同與快速響應(yīng)，鼓勵企業(yè)根據(jù)自身擅長領(lǐng)域承擔相應(yīng)角色，共同構(gòu)建多維度的保護系統(tǒng)，形成優(yōu)勢互補。此外，還需要第三方組織或協(xié)會來協(xié)調(diào)各方力量，設(shè)立由政府主管部門或行業(yè)協(xié)會牽頭的第三方協(xié)調(diào)機構(gòu)，負責組織管理各方資源，統(tǒng)一標準、推進合作，從而提升整體效率和執(zhí)行力。

李靜雯也認為，需要家庭、學校、社會和網(wǎng)絡(luò)平臺協(xié)同發(fā)力，共同守護未成年人的網(wǎng)絡(luò)安全。她表示，家庭是未成年人成長的重要環(huán)境，家長應(yīng)多陪伴孩子，關(guān)注他們的心理需求，提供性教育和法治教育。學校應(yīng)加強性教育師資隊伍建設(shè)，通過多學科融合的方式普及性知識。網(wǎng)絡(luò)平臺則應(yīng)將未成年人保護提升到企業(yè)發(fā)展戰(zhàn)略的高度，開發(fā)更多適合未成年人的產(chǎn)品和服務(wù)。社會則應(yīng)落實強制報告制度、入職查詢與從業(yè)禁止等制度，支持法律、社工和心理等專業(yè)社會組織為遭受侵害的未成年人提供綜合支持和幫助。