神算子論壇一神算子論

近年來，伴隨情感計(jì)算、自然語言處理、多模態(tài)交互等人工智能技術(shù)發(fā)展，人工智能擬人化互動(dòng)服務(wù)通過模擬人類人格特征、思維模式和溝通風(fēng)格，實(shí)現(xiàn)從“機(jī)械對話”向“深度共情”跨越，成為藏在用戶屏幕背后的“情緒搭子”。但與此同時(shí)，人工智能擬人化互動(dòng)服務(wù)也面臨信息安全、隱私侵犯、社會(huì)倫理、未成年人保護(hù)等多重風(fēng)險(xiǎn)挑戰(zhàn)。

國家互聯(lián)網(wǎng)應(yīng)急中心副處長張震表示，擬人化互動(dòng)服務(wù)作為人工智能技術(shù)應(yīng)用的新形態(tài)，具有鮮明的技術(shù)特征和顯著的風(fēng)險(xiǎn)特征。例如：情感交互的深度性，不同于傳統(tǒng)的信息查詢、內(nèi)容生成等功能性服務(wù)，擬人化互動(dòng)服務(wù)通過算法模擬人類情感反應(yīng)機(jī)制，能夠與用戶建立情感聯(lián)結(jié)，對用戶心理狀態(tài)和行為模式產(chǎn)生深層次影響；用戶關(guān)系的持續(xù)性，擬人化互動(dòng)服務(wù)往往涉及長期性、高頻次的交互過程，用戶可能與人工智能系統(tǒng)建立類似人際關(guān)系的情感紐帶，這種持續(xù)性互動(dòng)關(guān)系使得潛在風(fēng)險(xiǎn)不斷累積和放大。

擬人化互動(dòng)服務(wù)因其高度情感回應(yīng)性與陪伴特性，具有天然的沉迷風(fēng)險(xiǎn)?！掇k法》提出，服務(wù)提供者應(yīng)當(dāng)顯著提示用戶正在與人工智能而非自然人進(jìn)行交互。在用戶初次使用、重新登錄時(shí)，應(yīng)以彈窗等方式動(dòng)態(tài)提醒用戶交互內(nèi)容為人工智能生成。事中階段，要求設(shè)置中斷冷卻提醒功能。要求用戶連續(xù)使用服務(wù)超過一定時(shí)長時(shí)，應(yīng)以彈窗等形式提醒用戶休息，旨在周期性打破算法營造的沉浸式幻覺。

與此同時(shí)，《辦法》還著重強(qiáng)調(diào)對用戶交互信息的嚴(yán)格保護(hù)?！扒楦蓄悅€(gè)人信息能夠映射用戶的內(nèi)心世界、情感弱點(diǎn)與潛意識(shí)傾向，不當(dāng)利用可能會(huì)引發(fā)心理操控、待遇歧視及情感勒索等風(fēng)險(xiǎn)。同時(shí)，‘情感計(jì)算’相關(guān)技術(shù)可能被用于提供成癮性服務(wù)，使用戶在無意識(shí)中暴露更多的敏感信息。因此，對用戶交互數(shù)據(jù)施加更嚴(yán)格的目的限制、安全存儲(chǔ)與使用禁令，是人格權(quán)保護(hù)在數(shù)智時(shí)代的延伸?！绷志S說。