從雷軍到張文宏都是假的，起底亂像叢生的AI數字人帶貨
鳳凰科技 2024-12-28 01:31:26 1
作者 | 陳駿達
編輯 | 心緣
智東西12月27日報道，近日，一則國家傳染病醫學中心主任張文宏醫生“帶貨”的訊息衝上社交平臺熱搜。在這場深夜直播中，“張文宏”推銷的“白芸豆威化蛋白棒”產品，銷量已過千。
▲央視對張文宏醫生“被AI帶貨”的報道（圖源：CCTV2）
不過這個“張文宏”並不是真正的張文宏，而是AI換臉假冒的。被合成人像的樣貌、聲音都與張文宏本人極為相似，儘管存在口型不符等細節瑕疵，仍令不少老年人信以為真、上當下單。
此事令張文宏醫生不堪其擾，向媒體透露自己多次投訴無效：“這些假的合成資訊就像蝗災一樣，一次又一次發生……從平臺投訴結果來看，我覺得最終也難以解決問題。”
AI冒充名人並非個例。僅是在最近三個月，就有網友用“雷軍AI語音包”做出以假亂真的雷軍爆粗口影片，還有一位65歲江西老太太差點被“AI靳東”騙走200萬元，令AI數字人隱患愈發顯現。
這還僅僅是“AI騙子”氾濫於短影片平臺的一隅。智東西在陸續瞭解、接觸多位數字人營銷賬號的運營者和多家數字人服務提供商後發現，多樣的AI騙術已充斥於各大內容平臺，從擺在明面上的AI數字人到背後賣課、賣裝置、引流乃至傳銷。
大量低質量數字人內容已攻佔各大影片平臺，由AI生成的虛假軍人、虛假成功人士、虛假女性正以“娘”、“親愛的母親”、“老公”等親暱的口吻與觀眾對話，誘騙大量不知情的中老年使用者進行互動，甚至將他們帶至私域進行詐騙。
▲各大內容平臺上的AI數字人
部分數字人廠商、代理商以“躺著賺錢”、“一部手機就能幹”等誇張話術吸引商家購買數字人系統，卻在實際交付過程中提供了貨不對板的產品，偽造與抖音等平臺的合作關係，最終導致商家賬戶被封號、罰款，數字人買賣雙方對鋪公堂。
▲相關案件的判決書（圖源：裁判文書網）
更有甚者，以數字人帶貨為噱頭兜售4000元一臺的裝置，讓購買的店主拉下線、升等級、拿佣金，或是讓學員提交高額學費進入所謂交流群，但卻謊稱AI生成的圖片、音訊就是數字人技術。這些行為幾乎與傳銷、詐騙無異。
▲疑似騙局的數字人營銷宣傳
眾多中小商家眼中的數字人風口，正成為某些人借資訊差，狠狠收割流量與金錢的鐮刀······
01 .
四大數字人亂象：虛假宣傳、謠言氾濫、直播引流、詐騙傳銷
“一二三，三二一，一二三四五六七。”
短影片平臺上，有不少推銷數字人技術的影片都以此為開頭。釋出者介紹，僅需簡單念一串數字，再做幾個動作，將影片傳給AI，等上幾分鐘，就能生成與真人在外貌、聲音方面都近乎一模一樣的數字人。
▲國內主流短影片平臺上的數字人宣傳影片（圖源：智東西自制，從左至右分別為影片號、快手、抖音）
“一部手機就能幹”、“躺著賺錢”、“在家賺米”、“寶媽可幹”是這些影片中的慣用話術，在釋出者的影片、朋友圈中，動不動就是每天佣金700+、3個月賺了14萬、一天400多單等令人難以置信的成績。
釋出這些影片的賬號主要透過展示、誇大數字人效果吸引中小商家直接購買數字人，在直播帶貨、短影片帶貨等場景中應用。還有賬號直接生產數字人內容，並從中牟利。
短影片平臺上已有大量透過數字人生產的低俗、侵權、反智、封建迷信、造謠傳謠的內容。這些內容製作手段極為低劣，通常瞄準的都是沒有辨識能力的中老年人，騙取大量流量，誘騙使用者進行互動。
<video data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3786576675283173376" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3786576675283173376"></video>
▲抖音上由AI生成的內容獲得大量互動
有不少名人的肖像、聲音被AI冒用。前段時間，“AI雷軍”被用於惡搞影片、“AI靳東”被用於詐騙的訊息都曾衝上熱搜。雷軍本人回應自己“非常非常的困擾”，靳東也在網路上呼籲平臺需要拿出更有效的措施和辦法，治理相關內容。
▲由AI生成的“靳東”、“雷軍”
抖音官方發現，有部分賬號會將使用者導流至私人聊天工具，外以賣課、入群等方式獲利，甚至進行詐騙。抖音在治理公告中提到：“平臺已掌握部分黑產團伙不當使用AI生成虛擬人物用於犯罪的線索，將報警打擊。”
抖音平臺稱，AI生成的虛假小和尚形象會對使用者說出“我發現你身邊有塊絆腳石，我打算給你搬走”，“如果覺得小和尚說得對，送給小和尚一朵小紅花吧”等話語，利用迷信、心靈雞湯等內容騙取互動。
AI生成的虛假軍人形象會以“娘，別滑走，孩子想和您談談心”，“親愛的母親，我正在執行任務，給我一點鼓勵”，“告訴你一個小秘密，點一下我頭像下面的小加號”等口吻，利用軍人正面形象及老年人想念子女心理騙取互動。
AI生成的虛假女性形象會以“大叔，感謝你又來看妹妹了，如果再送我一朵花我會感動一整天”，“聽說你很厲害，很多美女都喜歡你”，“我會做飯、做家務、能聊天，你願意把我帶回家嗎”等情感話術誘導騙取互動。
▲抖音平臺上的部分違規AI生成內容（圖源：抖音黑板報）
除了欺騙普通使用者之外，還有企業和個人打著數字人的名頭招搖撞騙，盯上了投資者和商家，進行欺詐、甚至疑似傳銷的行為。
智東西近期以潛在店家的身份接觸了多位數字人影片、直播的推廣者。
據推廣人員的介紹，這家名為Toktime（又名TK Time）的公司是亞馬遜全資子公司，但網際網路上未能查詢到佐證對這一關係的資訊。Toktime以4000元一臺的價格將數字人直播帶貨裝置租賃給店家，後者可以拿到分傭。這些裝置並不會直接送至購買者手中，而是由公司進行統一管理。
▲智東西獲取的Toktime APP頁面截圖
該公司對外發布的培訓資料顯示，在購買裝置後，店主需要等待一段時間才可從平臺提現，還需要透過不斷拉新人提升自己的級別，從而獲得更多購買裝置的許可權和提成。這幾乎集齊了經典騙局的所有要素。
▲智東西獲取的Toktime宣傳資料
更令人生疑的是，對方提供的TikTok帶貨賬號連正式的名稱都沒有，賬號粉絲數量和影片觀看量寥寥無幾。
▲智東西獲取的Toktime公司TikTok帶貨賬號截圖
經查詢，Toktime除了在英國公司註冊局（Company House）提交了無需稽覈的公司地址，從而獲取營業執照外，就沒有任何其它的相關資訊。已有大量受騙者在社交媒體反映Toktime公司的各種問題，如無法提現、承諾可退回的資金無法退回等。
上述團伙至少還製作了App、網站，並在全國各地開展線下培訓，下方這個賬號更為直接，用一張AI生成圖片便號稱是所謂“數字人短影片帶貨”。實際上，這些影片僅以AI圖片為封面，內容則為切片、搬運而來。
▲某所謂數字人帶貨賬號（圖源：快手）
要學習上述影片的製作方式，“學員”需要付款1299元進入。在智東西進一步詢問後，對方直接承認影片就是混剪，數字人主要體現在“聲音”。針對影片搬運問題，對方回應“幹啥都有風險”。
▲智東西與對方的聊天記錄
後續，對方又辯稱可以提供數字人出鏡的影片。但這一數字人的畫面僵硬，口型完全對不上，AI生成的語音也有很強的“塑膠感”。
<video data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3786577463006969858" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3786577463006969858"></video>
▲對方提供的所謂數字人帶貨影片
02 .
影片號、抖音、快手嚴打數字人，
相關訴訟量已近50起
面對氾濫的低質量數字人內容，國內主流影片平臺紛紛進行了規範和限制。
電商直播是數字人應用較多、消費者感知較為明顯的領域，也是平臺治理的重點物件。據艾媒諮詢在2023年9月對500家數字人行業客戶的調研，選購數字人產品的企業中，電子商務企業佔比達22.7%。
▲中國AI數字人行業客戶畫像分析（圖源：艾媒諮詢）
騰訊影片號最為嚴格，在今年修訂的《影片號櫥窗達人“釋出低質量內容”實施細則》中將使用AI數字人進行直播的行為明確界定為違規。
▲《影片號櫥窗達人“釋出低質量內容”實施細則》節選（圖源：騰訊影片號公告）
國內兩大短影片巨頭雖然都推出了自己的數字人平臺，但也對站內AI生成內容（以數字人為主）進行了較為嚴格的限制。
抖音2023年、2024年多次發文倡議商家不要使用完全由AI驅動的數字人主播，並陸續進行了多次大規模整治，封禁了一大批相關賬號。
快手則在今年6月取消了對自己旗下“女媧”數字人產品的流量傾斜，同時加強了對AI生成內容的監管。
淘寶、京東等電商平臺和美團等本地生活平臺則對數字人直播較為寬容，這可能是因為平臺上的大部分中小商家根本沒有自主進行真人直播的能力，而數字人至少可以幫助他們打入直播帶貨這一賽道。
智東西查詢到的公開資訊顯示，目前市場上的數字人產品定價從數千元到數萬元、數十萬元不等。高質量的數字人產品並不缺乏，直播場景中的高質量數字人產品口型對齊效果、畫面逼真程度都比較理想，還支援本地化部署。供應商會對商家進行數字人直播運營的培訓。
但較高的售價和技術門檻，讓不少中小商家轉而選擇了一些廉價的數字人服務商，但最終這些服務商的產品往往出現貨不對板的問題。
目前，裁判文書網上已公開了近50起數字人相關的法律糾紛，其中有39起與數字人直播相關，大部分都出現在2023年-2024年期間。這些案件的涉案金額大多在10萬元以下，但對中小商家來說也是一筆較大的開支。
▲裁判文書網已有不少數字人直播相關案件（圖源：中國裁判文書網）
據智東西觀察，這些數字人服務商往往以相對較低的價格、無人直播、與真人效果無差異、24小時賣貨等為噱頭，將數字人產品出售給對技術細節不瞭解的商家。
例如，在去年宣判的一起案件中，廣州氧望科技公司在釋出會中展示的數字人效果與實際交付產品相去甚遠，後者表情、動作僵硬，遠遠不能達到直播的效果。氧望公司還宣稱他們與抖音官方有緊密的合作關係，可讓抖音提供提供引流服務。
▲氧望科技曾拿到數千萬元融資，但目前其電話已經無法撥通（圖源：企查查）
原告呂先生為氧望公司提供的智慧系統支付了60000元，但進行直播時，直播間頻頻被抖音官方頻頻封號，連正常直播都無法完成，更何況引流。
在今年宣判的一起案件中，深圳某科技公司在與商戶簽訂38000元的合同後，交付的“數字生活直播系統”屢次因錄播、AI主播形象容易引起公眾混淆為由被平臺封禁。在商戶反映問題後，舌診某科技公司以“數字人形象過於大眾化”、“我們還在做新的形象”、“前期需要先養號”等話術搪塞商戶。
這些案件中，商戶方的訴求基本都得到了法院的支援，上述數字人服務商明顯構成了虛假宣傳、合同違約等行為，需要退還一部分或全部涉案資金。
03 .
頭部創企盈利困難， 平臺政策逐漸收緊
“數字人”概念興起於元宇宙的熱潮，其實是中國科技發展環境下產生的特定表述。據中國網際網路協會發布的《中國數字人發展報告（2024）》，數字人這一概念下包含了媒介數字人、服務數字人、行業數字人這三大類別。
除了最有感知度的直播帶貨、短影片之外，數字人還出現在虛擬偶像、智慧客服等場景中。數字人的應用也不再侷限於大型企業，而是開始向中小商家乃至普通創作者下沉。
▲中國數字人應用場景薈萃（圖源：中國網際網路協會）
根據《中國數字人發展報告（2024）》中的資料，中國數字人產業2023年核心市場整體規模為205.2億元，預計到2025年會達到480.6億元。
然而，數字人產業的規模不及預期。作為國內最早扶持數字人產業的城市，北京市在2022年提出了2025年“北京市數字人產業規模突破500億元”的目標，還要培育1-2家營收50億元以上的頭部數字人企業與10家營收超10億元的重點數字人企業。
▲《北京市促進數字人產業創新發展行動計劃（2022-2025年）》（來源：北京市人民政府官網）
今年2月，北京市數字人基地正式啟用，會上相關部門分享，目前北京市以數字人為核心業務的企業217家，總營收規模約51億元。北京市經信局預計，2025年數字人核心業務營收規模突破200億元，低於2022年時500億元的預期。
國內數字人行業的主要玩家依舊是大廠和頭部AI企業，如百度的曦靈數字人、商湯的如影、華為雲的MetaStudio等。百度、阿里、騰訊、華為、商湯、科大訊飛等企業的數字人平臺都在今年迎來升級。
諮詢公司IDC在今年針對16家數字人供應商進行研究，國內數字人產品的8家領導者企業中，僅有脫胎於微軟亞洲研究院的小冰是以數字人為主營業務的中小企業。
▲《中國AI數字人產品2024年廠商評估》節選（圖源：IDC）
上述16家企業中，以數字人開發為主要業務的企業日子過得並不好。作為被IDC在數字人能力維度排名第一的企業，小冰至今仍未實現盈利，企查查資料顯示，2022年-2023年，小冰的員工數量也有明顯下滑，參保人數從290人降至161人。
而有“港股AIGC第一股”之稱的出門問問在今年4月上市後股價就持續震盪下跌，2024年半年報中公司披露虧損6.34億元，截至今年年底出門問問的股價已經持續2個月低於1港元，市值相較發行時已跌去近8成。
▲出門問問港股股價變動（圖源：騰訊自選股）
2017年成立於南京的矽基智慧則是這條賽道中少數對外宣佈已經實現盈利的企業。其創始人司馬華鵬去年透露，在2019年底時他們就已經達到了盈利狀態，並希望衝擊成為第一家年收入達到百億的AI公司。
數字人的創業熱潮也出現降溫態勢。據創投資料庫IT橘子資料，2021年國內共有40家數字人企業成立，到2024年這一資料已降至5家。數字人相關的融資降溫，2024年，僅有少數幾家數字人企業拿到了新融資，如向量方程、白馬星球、風平智慧、VidAU等，也沒有企業披露超過億元的融資。
▲數字人企業成立時間分佈（圖源：IT橘子）
04 .
結語：數字人野蠻生長，
監管亟需跟進
目前，全國範圍內尚未有數字人相關的通用規範性檔案。今年9月，浙江省出臺了《浙江省網路直播營銷行為規範指引》，對AI深度偽造、數字人使用做出相關規定，這也是全國首份此類檔案。
在AI技術不斷往縱深發展的當下，數字人技術的運用或許亟待監管部門的統一規範。