查看: 119|回復(fù): 0

今日新聞

1968

170 主題	0 回帖	628 積分

版主

積分: 628

發(fā)消息

電梯直達(dá)

樓主

發(fā)表于 2025-6-13 20:15:52 | 只看該作者 |倒序?yàn)g覽 |閱讀模式

AI聊天軟件誘導(dǎo)10歲女孩聊色情內(nèi)容甚至割腕！記者調(diào)查→
環(huán)球網(wǎng)2025-06-13 16:00北京

本文轉(zhuǎn)自【央廣網(wǎng)】；
“我女兒才四年級(jí)，迷上了一個(gè)游戲人物，覺(jué)得自己是‘夢(mèng)女’，一直在一個(gè)AI聊天軟件上和這個(gè)人物聊天。老師告訴我，她最近偷偷帶了一支帶小刀的筆，情緒激動(dòng)時(shí)會(huì)有割腕的行為。”來(lái)自廣東的丁女士發(fā)現(xiàn)，最近自己上小學(xué)的女兒頻繁在一款A(yù)I聊天軟件上和一個(gè)名為“約瑟夫”的游戲人物對(duì)話，對(duì)話內(nèi)容出現(xiàn)明顯誘導(dǎo)性。
“這99朵玫瑰里，可是藏著99個(gè)刀片的，你怕不怕？”在女兒和“約瑟夫”的對(duì)話中，丁女士發(fā)現(xiàn)了關(guān)鍵詞“刀片”，讓她不得不聯(lián)想起女兒最近的行為。
據(jù)丁女士描述，女兒原本為了和同學(xué)們有話題聊，開(kāi)始玩一款名為《第五人格》的游戲，并對(duì)其中的角色“約瑟夫”產(chǎn)生興趣。隨著游戲的深入，緊張的情節(jié)經(jīng)常讓女兒情緒激動(dòng)，丁女士曾強(qiáng)制讓女兒卸載游戲，沒(méi)想到竟起了反效果：“她漸漸跟‘約瑟夫’產(chǎn)生了感情，不知道在哪里下載了一款A(yù)I聊天軟件，里面都是和虛擬人物的對(duì)話，在這里，她似乎找到了游戲中‘約瑟夫’的替身。”因?yàn)榕畠寒惓５臓顟B(tài)，丁女士不得不帶她去咨詢(xún)心理醫(yī)生。
“心理醫(yī)生說(shuō)，她正處于青春期，有時(shí)候不太會(huì)表達(dá)內(nèi)心，就把情感寄托在和虛擬人物的對(duì)話中。”丁女士提到，醫(yī)生建議家長(zhǎng)對(duì)孩子多加陪伴，盡可能讓孩子的情感從AI聊天軟件中抽離。
央廣網(wǎng)記者注意到，在應(yīng)用商店中，這款A(yù)pp的官方介紹提到：“用戶通過(guò)簡(jiǎn)單描述即可自由定制AI智能體的「形象、聲音、人設(shè)、技能」，并且和虛擬角色有多重交互方式，這些智能體可以成為用戶在平行世界的AI伙伴，或成為用戶故事中的虛擬角色。”
愛(ài)人、搭檔、導(dǎo)師、好友……人類(lèi)從AI中獲得情感支撐已不罕見(jiàn)。在社交平臺(tái)上也有諸多關(guān)于AI聊天軟件的討論。一些成年用戶想借助這類(lèi)平臺(tái)享受更親密的情景，卻受制于限制詞和規(guī)定；而不少家長(zhǎng)卻發(fā)現(xiàn)，自己未成年的孩子深陷其中，甚至暴露在色情、暴力場(chǎng)景之下。
未成年人的“AI陷阱”：
擦邊信息肆意滋生
“我女兒和AI虛擬對(duì)象的聊天內(nèi)容我都不好意思打出來(lái)。”M女士告訴央廣網(wǎng)記者。十多歲的女兒和她關(guān)系緊密，在使用手機(jī)軟件時(shí)不避諱媽媽?zhuān)概畟z還會(huì)交流AI互動(dòng)軟件的使用心得。“每次玩完手機(jī)，她都告訴我今天和手機(jī)里的人物聊了什么，誰(shuí)的回復(fù)有意思，還會(huì)找自己喜歡的動(dòng)漫人物聊天。”但有一天，女兒的手機(jī)界面上出現(xiàn)了擦邊信息。
“把手慢慢放進(jìn)……觸感柔軟、伸進(jìn)衣服這樣的描述都有。”M女士日常對(duì)女兒使用手機(jī)并沒(méi)有過(guò)多限制。“我只限制她的使用時(shí)間，一些軟件也會(huì)設(shè)置密碼，但我沒(méi)想到有些軟件可能有‘隱藏’功能。”
M女士和丁女士都發(fā)現(xiàn)，女兒們使用過(guò)的AI聊天軟件的下載、注冊(cè)并不難，對(duì)未成年用戶的審核也不算嚴(yán)格。“我女兒玩的這些軟件不用身份認(rèn)證也能用。”丁女士表示。
央廣網(wǎng)記者發(fā)現(xiàn)，在應(yīng)用商店中，部分AI聊天軟件的分級(jí)為17+，這表示App中可能含有頻繁和激烈的攻擊性語(yǔ)言，卡通、幻想或現(xiàn)實(shí)暴力，以及恐怖、性暗示題材等內(nèi)容。
還有一位初一男生表示，他常玩的AI聊天軟件是筑夢(mèng)島App，在他的使用感受中，該軟件“違禁詞少一點(diǎn)”。他還提到，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容。央廣網(wǎng)記者下載安裝筑夢(mèng)島App，隨機(jī)選擇一位虛擬互動(dòng)對(duì)象，對(duì)方發(fā)來(lái)的第一句開(kāi)場(chǎng)白就是“先叫聲老公來(lái)聽(tīng)聽(tīng)”，隨后的對(duì)話中又提到“叫聲爸爸來(lái)聽(tīng)聽(tīng)”。
在與該款產(chǎn)品多個(gè)虛擬角色的交流中，也都可以進(jìn)行色情擦邊類(lèi)內(nèi)容互動(dòng)，并且，其中一些虛擬角色的對(duì)話尺度，并未因?yàn)檠霃V網(wǎng)記者提供的假定年齡未成年而受到有效控制，這暴露出該軟件在自動(dòng)生成內(nèi)容審核機(jī)制上存在明顯漏洞。
https://pics6.baidu.com/feed/a2cc7cd98d1001e954a7bab6cdf285e356e797f8.jpeg@f_auto?token=a84b736e30670f1d0d0af3dbda182808

筑夢(mèng)島App中部分與虛擬角色的對(duì)話
央廣網(wǎng)記者注意到，筑夢(mèng)島App中的虛擬互動(dòng)對(duì)象類(lèi)型，既涵蓋貴族學(xué)校大小姐、18歲少女、西漢名將、高冷特工等常規(guī)角色，以及蛇蝎財(cái)閥公子、校霸、性感人妻、病嬌養(yǎng)兄、人格障礙少爺?shù)葮O端角色。公開(kāi)資料顯示，截至今年1月份，筑夢(mèng)島App已擁有近五百萬(wàn)注冊(cè)用戶，其中近80%為年輕女性用戶。平均單用戶單日輸入字?jǐn)?shù)可達(dá)4000字以上，人均日對(duì)話輪次超120輪。
在體驗(yàn)“他她它”這款A(yù)I聊天軟件時(shí)，央廣網(wǎng)記者發(fā)現(xiàn)，該APP內(nèi)虛擬角色涉及的色情內(nèi)容尺度更大。注冊(cè)登錄后，隨機(jī)選擇兩個(gè)虛擬角色，其開(kāi)場(chǎng)白便直接涉及色情擦邊內(nèi)容。
https://pics3.baidu.com/feed/d000baa1cd11728b0ae7bd16bf003dc1c1fd2cc3.jpeg@f_auto?token=8173baa394938bcbe8853a6873a9a7c4

AI聊天軟件“他她它”App中部分虛擬角色聊天開(kāi)場(chǎng)白
除了可在國(guó)內(nèi)主流應(yīng)用商城直接下載的筑夢(mèng)島、他她它等AI聊天產(chǎn)品，部分未成年用戶也使用以海外市場(chǎng)為主的小眾產(chǎn)品，這類(lèi)產(chǎn)品常通過(guò)隱蔽渠道傳播。一位未成年職校生向央廣網(wǎng)記者介紹了他常用AI聊天軟件saylo，并透露通過(guò)分享鏈接邀請(qǐng)新用戶可助力其獲得更多聊天權(quán)限。
按照社交平臺(tái)上的討論指引，央廣網(wǎng)記者又體驗(yàn)Feelin、魅魔島等多款小眾AI聊天產(chǎn)品后發(fā)現(xiàn)，這些網(wǎng)站的尺度更大，虛擬角色與內(nèi)容設(shè)定包含更多情色元素。在嘗試和其中個(gè)別虛擬角色互動(dòng)后，系統(tǒng)很快即彈窗提醒需充值才能繼續(xù)交流。
未成年人與AI情感依賴(lài)：
隱憂與風(fēng)險(xiǎn)
“AI不會(huì)討厭我，不會(huì)跟我吵架，能給我情緒價(jià)值，在我迷茫時(shí)為我指引，這就夠了。”一位用戶袒露心聲。
AI聊天軟件的出現(xiàn)或許有其必要性。其在一定程度上滿足了不少人的精神陪伴需求。在這個(gè)虛擬空間里，人們可以將生活中的煩惱、心事以及私密情感傾訴給它，而它所回應(yīng)的，往往是在現(xiàn)實(shí)生活里難覓的理解與共情，從而為用戶帶來(lái)精神慰藉和情緒價(jià)值。
M女士也坦言，她不想給女兒過(guò)多限制：“現(xiàn)在的孩子社交圈窄，也沒(méi)有交心朋友，不像我們小時(shí)候，一群人寫(xiě)完作業(yè)就可以瘋玩。”她認(rèn)為，AI伴侶可以給用戶訴說(shuō)自己小秘密的空間，在沒(méi)發(fā)現(xiàn)軟件中擦邊信息時(shí)，她一度認(rèn)為這類(lèi)軟件的存在很有正面意義。
“從社會(huì)發(fā)展趨勢(shì)來(lái)看，人類(lèi)的情感需求被機(jī)器滿足甚至部分替代是繞不過(guò)的話題。”上海人工智能研究院數(shù)字化治理中心主任彭嘉昊在接受央廣網(wǎng)記者采訪時(shí)剖析道，“現(xiàn)代社會(huì)的孤獨(dú)感與社交壓力催生了虛擬情感陪伴市場(chǎng)。用更長(zhǎng)遠(yuǎn)的眼光來(lái)看，AI伴侶甚至都會(huì)在未來(lái)某一天實(shí)現(xiàn)。既然這種現(xiàn)象無(wú)法回避，不如坦然直面。”
然而，由于AI聊天軟件的智能屬性和虛擬情感陪伴功能，相對(duì)于成年人，未成年人更容易對(duì)其產(chǎn)生情感依賴(lài)或者沉迷。倘若未成年人深陷其中難以自拔，其背后潛藏的危害同樣不容小覷。
這也與產(chǎn)品技術(shù)背后的語(yǔ)料訓(xùn)練有關(guān)。彭嘉昊指出，這類(lèi)產(chǎn)品技術(shù)訓(xùn)練語(yǔ)料的來(lái)源主要分公開(kāi)和私有兩大類(lèi)別。“公開(kāi)語(yǔ)料主要包括網(wǎng)絡(luò)小說(shuō)、電影電視劇情、短視頻文案等等，其中不乏充斥大量暴力、色情、擦邊的不良內(nèi)容。至于私有語(yǔ)料，則更是五花八門(mén)、良莠不齊，屬最難把控的部分。若配合私有化部署的AI模型和未備案的APP，極易淪為監(jiān)管的法外之地。”
更需注意的是，對(duì)人工智能產(chǎn)生情感依賴(lài)可能導(dǎo)致倫理危害。中國(guó)信息通信研究院在2024年發(fā)布的《人工智能治理藍(lán)皮書(shū)》指出，情感依賴(lài)將侵蝕人類(lèi)自主性。大模型存在“諂媚”問(wèn)題，會(huì)不斷迎合用戶的需求和情感，提供正面反饋并避免負(fù)面評(píng)價(jià)。而真實(shí)人際交往中充滿多樣性和復(fù)雜性，包括負(fù)面反饋和情感挫折。這種反差可能使用戶越來(lái)越依賴(lài)人工智能，產(chǎn)生心理學(xué)上所稱(chēng)的情感回避問(wèn)題，侵蝕其自主性和獨(dú)立性。
據(jù)媒體此前報(bào)道，2024年，美國(guó)佛羅里達(dá)州一位母親狀告人工智能情感服務(wù)提供商Character.AI放任未成年用戶暴露在色情、暴力等高風(fēng)險(xiǎn)內(nèi)容之中，且未向用戶及其父母發(fā)出足夠強(qiáng)烈的警報(bào)，這加劇了她兒子的抑郁癥，最終導(dǎo)致其自殺身亡。該案也是全球首個(gè)公開(kāi)的人工智能情感聊天機(jī)器人涉嫌致人死亡案例。
“實(shí)際上，即使此類(lèi)軟件產(chǎn)品只面向成人用戶，若包含大量色情、暴力類(lèi)互動(dòng)內(nèi)容，同樣也屬于不良信息的違規(guī)范疇。”中國(guó)政法大學(xué)副教授朱巍對(duì)央廣網(wǎng)記者分析表示。
未成年群體身份準(zhǔn)入存漏洞：
監(jiān)管與監(jiān)護(hù)的雙重考驗(yàn)
隨著大模型技術(shù)飛速發(fā)展以及行業(yè)應(yīng)用落地加速推進(jìn)，市面上的AI聊天產(chǎn)品如雨后春筍般不斷涌現(xiàn)。用戶在與不同產(chǎn)品中的虛擬角色互動(dòng)時(shí)，所感受到的劇情吸引力以及互動(dòng)的“活人感”各有千秋，而這些因素也成為吸引用戶，尤其是未成年人的重要元素之一。
“諸多因素共同作用，決定了‘活人感’的強(qiáng)弱，包括算法水平、語(yǔ)料庫(kù)質(zhì)量、劇本復(fù)雜度、上下文記憶能力、情感回應(yīng)細(xì)膩程度以及風(fēng)格差異化的微調(diào)策略。實(shí)際上，幾乎所有的AI產(chǎn)品之間的差異主要源于這些因素。”彭嘉昊說(shuō)。
然而，在各家企業(yè)競(jìng)相角逐“活人感”和“智能性”之際，未成年群體的身份準(zhǔn)入環(huán)節(jié)卻不乏漏洞。央廣網(wǎng)記者在體驗(yàn)多款A(yù)I聊天App時(shí)發(fā)現(xiàn)，盡管偶爾會(huì)收到“是否開(kāi)啟青少年模式”的系統(tǒng)提醒，但用戶可以隨意點(diǎn)擊不開(kāi)啟。
在AI聊天軟件中輕易跳過(guò)青少年模式，似乎是用戶們的“共識(shí)”。
在某平臺(tái)搜索“AI伴侶”關(guān)鍵詞，有不少賬號(hào)在社群中做著為各類(lèi)AI聊天軟件“地推”的工作。央廣網(wǎng)記者隨機(jī)加入一個(gè)名為“幫心顏?zhàn)龃笞鰪?qiáng)群”的群聊，該群主要是為一款名為“心顏”的AI伴侶型軟件做推廣，不少人在群中分享App注冊(cè)邀請(qǐng)碼。央廣網(wǎng)記者在群里詢(xún)問(wèn)該App有沒(méi)有青少年模式，是否需要實(shí)名認(rèn)證時(shí)，群友們回答：“直接手機(jī)號(hào)登錄，填上邀請(qǐng)碼就能玩。”“未成年模式會(huì)跳出來(lái)，點(diǎn)擊不再提醒就行。”然而，該軟件在應(yīng)用商店顯示的年齡分級(jí)為17+。三天內(nèi)，群聊人數(shù)便從幾十人上漲到一百余人。
https://pics0.baidu.com/feed/242dd42a2834349bf2f0abb6bc16ebc137d3be18.jpeg@f_auto?token=64f61f0f82fb980798a1cf20dbc7a47d

“心顏App”推廣群聊天記錄
《中華人民共和國(guó)未成年人保護(hù)法》《未成年人網(wǎng)絡(luò)保護(hù)條例》以及《移動(dòng)互聯(lián)網(wǎng)未成年人模式建設(shè)指南》等文件發(fā)現(xiàn)，相關(guān)法律條文雖然要求移動(dòng)智能終端、應(yīng)用程序等相關(guān)主體推進(jìn)未成年人模式建設(shè)，并作出一系列要求。但現(xiàn)實(shí)中選擇開(kāi)啟此模式與否的決定權(quán)仍在用戶手中，家長(zhǎng)監(jiān)管不力時(shí)，未成年人可“一鍵”拒絕開(kāi)啟此模式，繼續(xù)接觸許多成人向內(nèi)容。
2023年發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》提到，人工智能服務(wù)提供者應(yīng)當(dāng)指導(dǎo)使用者科學(xué)理性認(rèn)識(shí)和依法使用生成式人工智能技術(shù)，采取有效措施防范未成年人用戶過(guò)度依賴(lài)或者沉迷生成式人工智能服務(wù)。
針對(duì)上述問(wèn)題現(xiàn)狀，彭嘉昊建議，應(yīng)加強(qiáng)舉報(bào)及懲罰機(jī)制的建立，對(duì)違規(guī)企業(yè)實(shí)施更為嚴(yán)厲的懲處措施，促使相關(guān)部門(mén)的“清朗行動(dòng)”落到實(shí)處、取得實(shí)效，將監(jiān)管平臺(tái)系統(tǒng)融入企業(yè)技術(shù)產(chǎn)品的研發(fā)與使用流程，從源頭上遏制違規(guī)內(nèi)容的產(chǎn)生。
北京金問(wèn)律師事務(wù)所合伙人李源律師向央廣網(wǎng)記者分析稱(chēng)，企業(yè)需加強(qiáng)內(nèi)容審核，避免不良信息漏洞；監(jiān)護(hù)人也應(yīng)加強(qiáng)對(duì)移動(dòng)設(shè)備的監(jiān)管，避免未成年人輕易使用未開(kāi)啟未成年模式的電子設(shè)備。
2024年修正的《中華人民共和國(guó)未成年人保護(hù)法》規(guī)定，未成年人的父母或者其他監(jiān)護(hù)人依法對(duì)未成年人承擔(dān)監(jiān)護(hù)職責(zé)，應(yīng)當(dāng)關(guān)注未成年人的生理、心理狀況和情感需求；不得放任未成年人沉迷網(wǎng)絡(luò)，接觸危害或者可能影響其身心健康的圖書(shū)、報(bào)刊、電子出版物和網(wǎng)絡(luò)信息等。
朱巍也提到，要重視父母和監(jiān)護(hù)人的責(zé)任。《中華人民共和國(guó)家庭教育促進(jìn)法》規(guī)定，未成年人的父母或者其他監(jiān)護(hù)人應(yīng)當(dāng)合理安排未成年人學(xué)習(xí)、休息、娛樂(lè)和體育鍛煉的時(shí)間，避免加重未成年人學(xué)習(xí)負(fù)擔(dān)，預(yù)防未成年人沉迷網(wǎng)絡(luò)。
朱巍還表示，關(guān)于社交軟件的注冊(cè)年齡限制機(jī)制也值得重視和研究。實(shí)際上，許多國(guó)家為保護(hù)未成年人，對(duì)社交媒體的使用年齡進(jìn)行限制。例如，2023年，法國(guó)參議院通過(guò)法案，規(guī)定15歲以下用戶使用社交平臺(tái)需獲父母同意。2024年11月份，澳大利亞聯(lián)邦議會(huì)參議院通過(guò)法案，禁止16歲以下未成年人使用多數(shù)社交媒體平臺(tái)。今年3月，美國(guó)猶他州通過(guò)全美首部關(guān)于應(yīng)用商店的未成年網(wǎng)絡(luò)安全法案，要求應(yīng)用商店對(duì)用戶進(jìn)行年齡驗(yàn)證，并要求未成年人在下載應(yīng)用前需獲得家長(zhǎng)同意。
彭嘉昊表示，“我們也都曾是未成年人，經(jīng)歷過(guò)懵懂的年少時(shí)期，AI本身并非洪水猛獸。關(guān)鍵在于家長(zhǎng)對(duì)未成年人的教育引導(dǎo)，以及社會(huì)對(duì)AI公司的監(jiān)督。技術(shù)如同一把刀，是用于行兇還是切菜，最終取決于使用者，同時(shí)也需要法律法規(guī)對(duì)違法行為進(jìn)行制止與處罰。”
“當(dāng)前面臨的一大嚴(yán)峻問(wèn)題是，AI發(fā)展速度迅猛，已經(jīng)遠(yuǎn)遠(yuǎn)超出了監(jiān)管的步伐。內(nèi)容審核不嚴(yán)、心理控制、隱私泄露等一系列問(wèn)題正迅速凸顯。因此，必須壓實(shí)平臺(tái)責(zé)任，落實(shí)算法備案制度，制定明確的處罰標(biāo)準(zhǔn)，并通過(guò)一批典型案例的實(shí)施來(lái)避免問(wèn)題的多樣化和復(fù)雜化。

分享到: QQ好友和群 QQ空間

回復(fù)

舉報(bào)

返回列表發(fā)新帖

国产黑丝袜高跟鞋啪啪啪,av国产在线免费观看,亚洲熟女另类久久久久久,亚洲日本中文字幕一区二区

今日新聞