關(guān)于中央廣播電視總臺在AIGC技術(shù)研發(fā)與內(nèi)容生產(chǎn)方面的內(nèi)容分為三部分，一是總臺5G+4K/8K+AI發(fā)展進(jìn)程；二是總臺AIGC技術(shù)發(fā)展情況；三是結(jié)合實際應(yīng)用，介紹AIGC技術(shù)賦能總臺內(nèi)容生產(chǎn)。
2019年，總臺確立了從傳統(tǒng)技術(shù)路線向“5G+4K/8K+AI”技術(shù)路線轉(zhuǎn)變，積極發(fā)展5G、4K/8K超高清、AI人工智能技術(shù)，加快推動新技術(shù)在內(nèi)容創(chuàng)作上的應(yīng)用。5G方面，發(fā)布了5G媒體應(yīng)用白皮書，研發(fā)了便攜式5G移動背包，在北京冬奧會上支撐高鐵5G節(jié)目直播；4K/8K超高清方面，發(fā)布了總臺超高清制播規(guī)范，研發(fā)了一系列超高清制播設(shè)備，建立了全I(xiàn)P化超高清制播體系，在央視春晚等均得到很好的應(yīng)用。
AI方面，研發(fā)了AI虛擬切換伴隨制作技術(shù)、AI語音轉(zhuǎn)寫與合成、AI智能剪輯、AI視頻修復(fù)增強(qiáng)技術(shù)等。這些AI技術(shù)的應(yīng)用，極大地提高了總臺在內(nèi)容創(chuàng)作方面的效率，同時優(yōu)化了制播流程，節(jié)約了制作成本。
與5G、4K/8K超高清相比，總臺在AI研發(fā)方面相對偏少一些，但是，隨著AIGC技術(shù)的發(fā)展，總臺從去年開始快速跟進(jìn)，加大了AI人工智能在媒體領(lǐng)域的科研力度，積極推動生成式AI技術(shù)在節(jié)目中制作應(yīng)用。
總臺作為國家級媒體，在AIGC技術(shù)發(fā)展方面，具有獨特的優(yōu)勢：一是能夠依托國家重點實驗室的研發(fā)基礎(chǔ)，聯(lián)合國內(nèi)頭部企業(yè)，建立AIGC技術(shù)“產(chǎn)學(xué)研用” 一體化發(fā)展體系；二是擁有多知識、高質(zhì)量、多模態(tài)媒體語料數(shù)據(jù)，視頻248萬小時，獨立音頻65萬小時，可實現(xiàn)語料數(shù)據(jù)資源共享，降低大模型訓(xùn)練和研發(fā)成本，引領(lǐng)人工智能賦能媒體行業(yè)發(fā)展；三是具有豐富的媒體制播應(yīng)用場景，可將大模型能力與媒體垂直領(lǐng)域相結(jié)合，為媒體行業(yè)賦能，形成大模型行業(yè)示范效應(yīng)。
2023年7月，總臺聯(lián)合上海人工智能實驗室發(fā)布了“央視聽媒體大模型”，以“書生通用大模型體系”為底座，充分融合了“書生?多模態(tài)”、“書生?浦語”等開源通用大模型技術(shù)特點，合作打造了面向視聽領(lǐng)域的生成式大模型。該模型全面覆蓋了分類、目標(biāo)檢測、語義分割、深度估計等關(guān)鍵任務(wù)，可通過持續(xù)學(xué)習(xí)更加精準(zhǔn)地識別圖像，在圖像標(biāo)桿任務(wù)上性能取得了顯著的提升，可為視聽媒體行業(yè)科研創(chuàng)新提供支持，為視聽媒體產(chǎn)業(yè)應(yīng)用賦能。
在2023年世界人工智能大會上，總臺牽頭與上海人工智能實驗室等10家單位聯(lián)合發(fā)起大模型語料數(shù)據(jù)聯(lián)盟，為大模型發(fā)展提供高質(zhì)量、大規(guī)模、安全可信語料數(shù)據(jù)資源，保障大模型科研攻關(guān)及相關(guān)產(chǎn)業(yè)生態(tài)發(fā)展。總臺積累了大量的視音頻和文稿等訓(xùn)練數(shù)據(jù)，可助力大模型語料數(shù)據(jù)聯(lián)盟打造多知識、多模態(tài)、標(biāo)準(zhǔn)化的高質(zhì)量語料數(shù)據(jù)集，通過鏈接模型訓(xùn)練、數(shù)據(jù)供給，探索可持續(xù)運行的激勵機(jī)制，打造開放型的大模型語料數(shù)據(jù)生態(tài)圈。
今年2月，為了加快AIGC核心技術(shù)研究和創(chuàng)新應(yīng)用開發(fā)，總臺成立了人工智能工作室，全面統(tǒng)籌總臺人工智能發(fā)展規(guī)劃、技術(shù)研發(fā)、系統(tǒng)建設(shè)和節(jié)目應(yīng)用等工作。工作室一方面對接全臺各節(jié)目中心欄目和總臺廣播電視和新媒體媒資平臺，將節(jié)目制作需求轉(zhuǎn)化為“央視聽媒體大模型”能力需求；另一方面對接大模型算法和算力平臺，按照節(jié)目個性化需求對大模型進(jìn)行遷移學(xué)習(xí)和訓(xùn)練微調(diào)，從而快速形成適配特定業(yè)務(wù)的視聽節(jié)目創(chuàng)作大模型。同時，為加快推進(jìn)大模型研發(fā)應(yīng)用，總臺牽頭發(fā)起成立“央視聽媒體大模型”研發(fā)共同體，與國內(nèi)一流的科研機(jī)構(gòu)、高校和企業(yè)加強(qiáng)合作，秉持開放共享、積極創(chuàng)新、協(xié)作共贏的原則，在科研攻關(guān)、需求應(yīng)用、安全發(fā)展、產(chǎn)業(yè)生態(tài)等方面聯(lián)動產(chǎn)業(yè)鏈上下游，為視聽媒體科研創(chuàng)新提供支持。
為規(guī)范總臺人工智能技術(shù)合理、安全、高效應(yīng)用，今年3月，總臺制定并發(fā)布了人工智能使用規(guī)范。規(guī)范包括4章24條，其目的是鼓勵總臺各部門積極探索人工智能的賦能作用，梳理節(jié)目制作需求和相關(guān)視聽數(shù)據(jù)，支持“央視聽媒體大模型”研發(fā)、訓(xùn)練及迭代，并引入國內(nèi)科研機(jī)構(gòu)共同打造的人工智能媒體平臺，支撐總臺節(jié)目制作，充分發(fā)揮人工智能技術(shù)優(yōu)勢，重構(gòu)總臺節(jié)目制播流程，提升制作效率，降低制作成本。
在深圳舉辦的“ 2024中國AI盛典”晚會上，總臺在發(fā)布了《人工智能發(fā)展白皮書》，明確提出了人工智能發(fā)展的四項基本原則，積極探索、推動應(yīng)用，規(guī)范使用、確保安全，科技引領(lǐng)、提質(zhì)增效，開放包容、合作共贏；科學(xué)規(guī)劃人工智能在賦能媒體制播、引領(lǐng)媒體創(chuàng)新、重構(gòu)媒體生態(tài)等三方面舉措。為推動總臺人工智能媒體應(yīng)用，總臺已制定了人工智能技術(shù)系統(tǒng)建設(shè)規(guī)劃，包括IT基礎(chǔ)資源支撐平臺、多模態(tài)語料供給平臺、多模態(tài)語料治理平臺、多模態(tài)媒體大模型研發(fā)平臺和多模態(tài)媒體大模型應(yīng)用平臺。
總臺運用央視聽媒體大模型，完成了中國首部文生視頻AI系列動畫片《千秋詩頌》的制作，提升了動畫創(chuàng)作效率，擴(kuò)展了視覺創(chuàng)意空間?！把胍暵犆襟w大模型” 利用總臺動畫類大數(shù)據(jù)對片中詩詞涉及到的人物、場景和器物進(jìn)行中國審美風(fēng)格的美術(shù)算法訓(xùn)練，將中華古典詩詞的博大精深與現(xiàn)代視聽藝術(shù)完美結(jié)合，通過唯美的國風(fēng)動畫形式，讓更多的人尤其是青少年，創(chuàng)新感受中華文脈的勃勃生機(jī)和獨有魅力，在內(nèi)心深處根植深厚的文化自信。動畫片《千秋詩頌》2月26日播出，取得了良好的傳播效果。
總臺在2019年就開始研發(fā)通過AI技術(shù)對視頻和圖像進(jìn)行修復(fù)增強(qiáng)技術(shù)，并在建黨百年《偉大征程》和北京冬奧會上得到應(yīng)用，近年來，AI視頻增強(qiáng)系統(tǒng)開始利用生成式AI技術(shù)來提升AI修復(fù)增強(qiáng)的能力和性能，特別是彌補判別式AI模型所不具備的圖像細(xì)節(jié)生成能力，支持AIGC視頻超分和人臉增強(qiáng)等功能，對有價值的低質(zhì)量語料進(jìn)行修復(fù)增強(qiáng)，具備將標(biāo)清、高清素材修復(fù)增強(qiáng)為超高清素材，同時可與總臺現(xiàn)有判別式超分、插幀進(jìn)行級聯(lián)，提升圖像清晰度和質(zhì)量，同時，構(gòu)建面向真實應(yīng)用具有國產(chǎn)化特色的視頻數(shù)據(jù)集，可用于各種視頻生成模型的訓(xùn)練和測試，并提供VQA視頻質(zhì)量評價模型。
在今年4月成都湯尤杯羽毛球賽事中，“央視聽媒體大模型” 研發(fā)的體育技戰(zhàn)術(shù)分析模型，通過在賽場內(nèi)設(shè)置多個特定角度的機(jī)位采集比賽視頻信號，完全基于視頻內(nèi)容對運動員動作以及球的運動軌跡進(jìn)行捕捉、對比和分析。徹底摒棄了傳統(tǒng)的依賴于穿戴式硬件來進(jìn)行測量與動作跟蹤的方法，并實時進(jìn)行三維重建和虛擬3D測量，做到了“零穿戴、零感知”地獲取比賽關(guān)鍵參數(shù)信息，如羽毛球的最大過網(wǎng)速度、最大網(wǎng)前過網(wǎng)角度、運動員最大起跳高度、移動距離等。實時計算出羽毛球比賽中關(guān)鍵參數(shù)并以圖文、視頻渲染等多元化方式呈現(xiàn)在電視屏幕上，為賽事直播以及賽后技戰(zhàn)術(shù)分析提供有力數(shù)據(jù)支撐，滿足廣大電視觀眾智慧觀賽的需求。
在剛剛結(jié)束的巴黎奧運會，我們對央視聽媒體大模型體育模塊進(jìn)行了優(yōu)化升級，采用最新算法并完全基于OBS 公共信號進(jìn)行計算分析，技術(shù)人員無需去巴黎賽事前方，通過回傳總臺后方節(jié)目信號即可完成遠(yuǎn)程制作，，與總臺前方人工智能制作系統(tǒng)形成了差異化互補，共同打造了總臺全方位、多角度、立體化AI 體育轉(zhuǎn)播盛宴。一是技戰(zhàn)術(shù)分析模型，運用單視頻空間虛擬測量和3D重建技術(shù)從巴黎前方傳回的公共信號畫面中自動精準(zhǔn)識別并抽取有效的技戰(zhàn)術(shù)分析視頻，準(zhǔn)確分析出球的過網(wǎng)速度以及高度、吊球角度、球員位移、落點預(yù)測估計及壓線質(zhì)量等關(guān)鍵技戰(zhàn)術(shù)參數(shù)。成功應(yīng)用于網(wǎng)球、羽毛球等賽事節(jié)目制作。二是時間切片模型，運用自主研發(fā)的智能圖像分割和拼接技術(shù)對視頻信號中的運動鏡頭進(jìn)行分析并實時完成時間切片場景重建，大幅降低現(xiàn)場硬件設(shè)備部署成本。三是風(fēng)格化轉(zhuǎn)繪模型，運用中國傳統(tǒng)藝術(shù)風(fēng)格等自定義轉(zhuǎn)繪風(fēng)格，將賽事圖片、視頻用AIGC 技術(shù)轉(zhuǎn)繪成不同畫風(fēng)的素材，多次應(yīng)用于CGTN 英語頻道奧運獎牌榜、央視頻巴黎奧運中國40 金轉(zhuǎn)繪回顧等場景。
在今年的世界人工智能大會上，總臺聯(lián)合北京新影聯(lián)影業(yè)公司發(fā)布動畫電影《團(tuán)圓令》的啟動儀式，《團(tuán)圓令》大電影是以大熊貓團(tuán)團(tuán)圓圓為原型，以促進(jìn)青少年文化交流為宗旨的原創(chuàng)動漫IP，電影將由新影聯(lián)作為發(fā)行單位，由總臺牽頭，依托央視聽媒體大模型，為負(fù)責(zé)電影制作的北京灌木公司提供AIGC技術(shù)支持。影片制作將顛覆以往電影生產(chǎn)模式，開創(chuàng)全新的AI動畫電影生產(chǎn)流程，實現(xiàn)從角色設(shè)計、場景構(gòu)建到動畫渲染全鏈路的高效創(chuàng)作。
最近，我們在建設(shè)總臺AIGC內(nèi)容生產(chǎn)平臺，主要是在央視聽媒體大模型的基礎(chǔ)上，聯(lián)合大模型研發(fā)共同體的合作企業(yè)，從媒體內(nèi)容制作的角度，梳理采編播流程，，在文本創(chuàng)作、圖像創(chuàng)作、視頻編創(chuàng)方面深入引入AIGC內(nèi)容創(chuàng)作，計劃月底開始在總臺內(nèi)部提供測試使用。
總臺在人工智能媒體應(yīng)用平臺中將建設(shè)基礎(chǔ)資源支撐平臺、多模態(tài)語料供給平臺、多模態(tài)語料管理與治理平臺、大模型研發(fā)平臺和大模型應(yīng)用平臺，構(gòu)建語料供給-語料治理-大模型訓(xùn)練-賦能媒體制播-語料再生成的閉環(huán)體系，全流程實現(xiàn)生成式人工智能從語料訓(xùn)練到大模型落地的實際應(yīng)用。
最后，做一個簡單總結(jié)，一是總臺積極研發(fā)AIGC技術(shù)，完善央視聽媒體大模型功能模塊，尤其在動畫制作、影視譯制、體育轉(zhuǎn)播和智能編輯方面提供內(nèi)容創(chuàng)作和實際應(yīng)用；二是依托總臺人工智能工作室，推動總臺AIGC內(nèi)容高效創(chuàng)作，賦能總臺節(jié)目生產(chǎn)；三是以總臺豐富的媒體制播場景為試驗基礎(chǔ)，以媒體行業(yè)應(yīng)用為導(dǎo)向，重構(gòu)媒體生態(tài)加快形成新質(zhì)生產(chǎn)力；四是以總臺多知識、高質(zhì)量、多模態(tài)媒體語料數(shù)據(jù)為基礎(chǔ)，形成統(tǒng)一語料集，形成資源共享，促進(jìn)我國人工智能產(chǎn)業(yè)升級。（作者系中央廣播電視總臺超高清視音頻制播呈現(xiàn)國家重點實驗室副主任）
