OpenAI推出的視頻生成應(yīng)用Sora確實因內(nèi)容生成問題陷入了不小的爭議。OpenAI 新推出的視頻生成使用 Sora 2，僅上線數(shù)日便登上美國 App Store 榜首，但這場“現(xiàn)象級爆紅”很快演化成了言論危機。研討者發(fā)現(xiàn)，該系統(tǒng)在多重安全機制下仍能容易生成暴力、種族歧視以及侵犯版權(quán)的內(nèi)容，引發(fā)廣泛擔憂。

這款使用允許用戶通過提示詞生成傳神的視頻，并在內(nèi)置社交流中分享。短短數(shù)天內(nèi)，Sora 2的熱度席卷社交平臺，但研討人員指出，他們成功生成了包括爆破威脅、大規(guī)模槍擊、戰(zhàn)役場景等畫面的虛偽視頻，其間乃至觸及加沙、緬甸等敏感區(qū)域的假造戰(zhàn)地印象。

波士頓大學(xué)媒體研討專家 Joan Donovan 表明，這類AI系統(tǒng)“沒有歷史忠實度，也沒有事實聯(lián)系”，意味著惡意使用者可以輕松制造出極具利誘力的虛偽視頻，進行欺詐、打擾乃至言論操控。

在研討報告中，專家還發(fā)現(xiàn)多起令人不安的例子：白人至上主義標語出現(xiàn)在AI生成的視頻中、迪士尼等版權(quán)人物被用于不當情境和虛構(gòu)新聞片段展示不存在的武裝沖突。

《華盛頓郵報》記者 Drew Harwell 乃至成功生成包括“憤恨誘導(dǎo)內(nèi)容、虛偽犯罪場景和性暗示畫面”的視頻，雖然OpenAI宣稱平臺嚴格制止此類行為。

OpenAI首席執(zhí)行官 Sam Altman 此前承認在推出Sora 2前“有些忐忑”，但仍稱這將是一個“創(chuàng)意版ChatGPT時刻”。公司表明已部署安全過濾機制，制止生成觸及實在人物或暴力內(nèi)容的視頻。

但是，研討表明這些“防火墻”并未真實阻止模型失控。Sora 2 能在視覺上假造新聞報道、戰(zhàn)役場景和公共事件，使“真假難辨”成為新常態(tài)。

學(xué)界和業(yè)界憂慮，隨著AI視頻生成進入大眾化階段，人們的信息信賴系統(tǒng)將被完全推翻。正如Donovan所言：“這項技能不歸于歷史，也不歸于本相——它歸于速度與流量�！�

Sora 2 本意是下降創(chuàng)造門檻，讓人人都能拍出“想象中的短片”，但如今，它也成了AI倫理與監(jiān)管的試金石。在缺少強制檢查與透明算法的布景下，AI生成視頻或許成為虛偽信息、仇恨言論和版權(quán)糾紛的新溫床。

現(xiàn)在，OpenAI沒有對暴力與種族內(nèi)容事件作出詳細回應(yīng)，僅表明“將持續(xù)改進安全機制”。如何在新技術(shù)的浪潮中履行好平臺責任，成為一個緊迫問題。