結合國內外產業(yè)發(fā)展情況和本市研發(fā)基礎,聚焦沉浸式技術、Web3技術兩大主攻方向,在沉浸影音、沉浸計算、新型顯示、感知交互與區(qū)塊鏈等關鍵技術領域打造新高地。
近日,上海市科學技術委員會發(fā)布關于印發(fā)《上海市“元宇宙”關鍵技術攻關行動方案(2023—2025年)》的通知。
《行動方案》提出,針對“元宇宙”沉浸式、開放式、永續(xù)實時、以人為中心等跨界復合的技術特性,圍繞“元宇宙”內容、存算、傳輸和終端等技術層面,結合國內外產業(yè)發(fā)展情況和本市研發(fā)基礎,聚焦沉浸式技術、Web3技術兩大主攻方向,在沉浸影音、沉浸計算、新型顯示、感知交互與區(qū)塊鏈等關鍵技術領域打造新高地。
此外,關于開展沉浸影音技術布局,《行動方案》指出,面向“元宇宙”海量沉浸影音內容生產的需求,基于AI賦能虛實融合的技術路線,重點布局人工智能生成內容(AIGC)、跨尺度采集重建、數字人生成與驅動、虛擬空間三維引擎等關鍵技術研發(fā),實現超寫實“元宇宙”沉浸影音內容的自動化、低成本生產,支撐“元宇宙”內容創(chuàng)作生態(tài)建設。
上海市“元宇宙”
關鍵技術攻關行動方案
。2023-2025年)
“元宇宙”是未來虛擬世界與現實社會相交互的重要平臺。為貫徹落實《上海市建設具有全球影響力的科技創(chuàng)新中心“十四五”規(guī)劃》和《上海市培育“元宇宙”新賽道行動方案(2022-2025年)》,加快推動“元宇宙”領域關鍵技術攻關突破,特制定本行動方案。
一、總體思路和目標
以習近平新時代中國特色社會主義思想為指導,全面貫徹黨的二十大精神,落實市委、市政府有關“元宇宙”的決策部署,堅持使命導向、策源驅動、重點突破、賦能發(fā)展,以沉浸式技術與Web3技術為兩大主攻方向,以自主創(chuàng)新和開放協同為推進路徑,著力提升“元宇宙”領域科技自立自強能力。到2025年,前沿優(yōu)勢領域相關科學問題研究取得重要突破,原始性創(chuàng)新成果持續(xù)涌現;聚焦技術優(yōu)勢和必爭領域掌握一批關鍵技術,底層技術支撐能力持續(xù)提升;以重點場景需求為牽引,加快“元宇宙”技術體系化突破;科技成果轉化和產業(yè)化水平不斷提高,形成具有國際競爭力的“元宇宙”創(chuàng)新集群,保障創(chuàng)新鏈、產業(yè)鏈、供應鏈安全和韌性,為加快建設具有全球影響力的科技創(chuàng)新中心提供有力支撐。
——原創(chuàng)性引領性科技攻關取得重要進展。人工智能生成內容(AIGC)、空間計算、智能編碼、高性能低功耗微顯示、多模傳感、Web3網絡操作系統(tǒng)、跨尺度采集重建、腦機接口等戰(zhàn)略前沿與關鍵技術不斷取得新突破,圍繞智能終端、內容制作、云平臺等形成30項以上具有重要影響力的核心技術與產品,推進“元宇宙”創(chuàng)新鏈、產業(yè)鏈、價值鏈向高端邁進。
——先進應用技術體系加快構建。形成一批技術創(chuàng)新和服務平臺,有效推進協同創(chuàng)新和成果轉化。面向城市經濟、生活、治理的數字化轉型等重要應用需求,打造高水平關鍵技術試驗驗證場景,形成全鏈條技術供給能力,構建具有全球競爭力的“元宇宙”技術體系。
——“元宇宙”創(chuàng)新生態(tài)不斷完善。高質量孵化器、投融資服務、高水平研發(fā)機構、科技型骨干企業(yè)、創(chuàng)新團隊等要素集聚,“元宇宙”監(jiān)管技術和治理水準不斷提升,開放包容、充滿活力、健康有序的創(chuàng)新生態(tài)加速形成。
二、主攻方向
針對“元宇宙”沉浸式、開放式、永續(xù)實時、以人為中心等跨界復合的技術特性,圍繞“元宇宙”內容、存算、傳輸和終端等技術層面,結合國內外產業(yè)發(fā)展情況和本市研發(fā)基礎,聚焦沉浸式技術、Web3技術兩大主攻方向,在沉浸影音、沉浸計算、新型顯示、感知交互與區(qū)塊鏈等關鍵技術領域打造新高地。
主攻方向一:沉浸式技術
圍繞沉浸影音和沉浸計算領域,重點布局人工智能生成內容(AIGC)、跨尺度采集重建、空間計算、智能編碼等關鍵技術攻關,降低場景構建成本、提升“元宇宙”內容制作靈活度,并在引擎技術等方面取得新進展。圍繞新型顯示和感知交互領域,重點布局近眼顯示、多模傳感等技術和終端設備研發(fā),帶動本市芯片、零部件與算法技術研發(fā)應用,深化內容與硬件聯動,搶占“元宇宙”關鍵入口。
主攻方向二:Web3技術
面向“元宇宙”去中心化/多中心化的組織規(guī)則,圍繞區(qū)塊鏈領域,重點布局Web3網絡操作系統(tǒng)等技術研發(fā),構建高性能、可擴展和安全可控的新型區(qū)塊鏈體系架構,為“元宇宙”應用提供中立、可信的信息處理平臺。
三、開展沉浸影音技術布局
面向“元宇宙”海量沉浸影音內容生產的需求,基于AI賦能虛實融合的技術路線,重點布局人工智能生成內容(AIGC)、跨尺度采集重建、數字人生成與驅動、虛擬空間三維引擎等關鍵技術研發(fā),實現超寫實“元宇宙”沉浸影音內容的自動化、低成本生產,支撐“元宇宙”內容創(chuàng)作生態(tài)建設。
(一)人工智能生成內容(AIGC)技術
研究人工智能通用生成模型、多模態(tài)協同生成、內容可控生成等技術,構建低成本、高效率的沉浸影音內容生成體系,實現敏感生成信息可控和可識別。到2025年,實現文本、圖像、音樂、視頻和三維模型等多模態(tài)內容間的關聯對齊與互生成,實現多模態(tài)沉浸影音內容的高逼真、高效率和可控生成,實現內容智能生成過程中的敏感信息規(guī)避能力。
(二)跨尺度采集重建技術
研究跨尺度多傳感器融合采集、大尺度和高動態(tài)的神經輻射場建模生成等技術,形成自主可控的跨尺度采集重建技術體系。到2025年,構建包括激光雷達、光場陣列、梯度光陣列等多模態(tài)協同采集系統(tǒng);形成城市(大)、室內(中)、靜態(tài)物體(。┑榷喑叨葓鼍暗母呔、分鐘級建模能力,生成新視角的圖像分辨率、渲染速度和圖像精度等核心指標達到國際領先水平。
(三)數字人生成與驅動技術
研究人臉、表情與動作的高逼真重構、自動綁定、實時驅動等技術,建設光學動作捕捉相機系統(tǒng),集表情、動作、語音一體化的數字人智能生成系統(tǒng)。到2025年,形成人體和剛體運動的高精度定位與智能分析系統(tǒng),定位追蹤精度達到國際領先水平;實現虛擬人高精度建模與綁定,重建精度達到亞毫米級,支持智能綁定,表情基數量與面部4D數據采集速度均達到國際領先水平;形成人工智能驅動能力,支持基于文字、音頻、視頻等多模態(tài)的表情和動作驅動。
(四)虛擬空間三維引擎技術
研究跨平臺、端云協同架構,突破多線程同異步加載均衡、多線程粒子計算、多核CPU資源調度等技術,實現低成本、低帶寬設備上的高頻數據渲染。到2025年,渲染效率和功耗等指標位于國內先進水平。
四、加快沉浸計算技術研發(fā)突破
圍繞“元宇宙”虛實融合的沉浸體驗技術要求,基于端云協同的沉浸式計算技術路線,重點布局空間計算、智能編碼、分布式渲染分發(fā)等關鍵技術研發(fā),提升“元宇宙”內容計算和分發(fā)效率。
(一)空間計算技術
研究毫米級視覺定位服務、高性能同步定位與地圖創(chuàng)建(SLAM)、多場景大規(guī)模用戶實時交互等技術,推動“元宇宙”數字交互信息與現實環(huán)境的無縫實時嵌入,提升虛實融合數字空間運營服務能力。到2025年,實現各類室內外場景下的高精度定位,百平米級小場景定位精度達到毫米級,十萬平米級大場景定位精度達到厘米級。
(二)智能編碼技術
研究高效結構表達三維空間不規(guī)則網格數據、多源媒體同步關聯和網元協同處理、存算網一體處理芯片等技術,形成6自由度(6DoF)數據高效壓縮編碼方法、跨網同步封裝協議和全新媒體處理器結構。研究基于人工智能輔助的視覺視頻特征編碼和沉浸式視頻壓縮編碼技術,構建虛實融合的新型編解碼模型。到2025年,在重建幾何質量峰值信噪比(PSNR)70dB、屬性質量40dB條件下,密集6DoF點云達到250倍壓縮率,實現跨網分發(fā)精準同步。
(三)分布式渲染分發(fā)技術
研究面向云原生的渲染優(yōu)化技術、云端渲染內容的音視頻數據高實時高質量調度算法。到2025年,算力基礎設施滿足“元宇宙”沉浸式應用需求,實現可彈性擴展、支持混合渲染的云原生系統(tǒng),4K高清媒體流推送時延和交互時延進一步降低;提供多層級服務,顯著提升異構業(yè)務下的服務可靠性和資源利用率。
五、開展新型顯示關鍵技術布局
面向“元宇宙”內容呈現方面的高清晰、深度沉浸等發(fā)展趨勢和需求,重點布局高性能低功耗微顯示器件、高亮度輕量化光學模組、全息和光場顯示等關鍵技術攻關,搶占“元宇宙”關鍵入口高地,推動近眼顯示、裸眼全息等新型顯示產業(yè)高質量發(fā)展。
(一)高性能低功耗微顯示技術
研究數字驅動和注視點渲染、感顯算一體化集成系統(tǒng)架構、像素結構設計等技術。到2025年,硅基OLED顯示模組及自主驅動芯片、硅基Micro-LED顯示模組和自主驅動芯片、Fast-LCD顯示器件達到國際先進水平,高亮度、廣色域、低功耗的微顯示單目分辨率達到4K以上。
(二)高亮度輕量化光學模組
研究面向近眼顯示的幾何光波導技術,突破針對消費級光學玻璃的分子鍵合工藝,研發(fā)二維擴瞳幾何光波導鏡片及其顯示模組,推進消費級幾何光波導鏡片及其顯示模組的量產化。到2025年,視場角、鏡目距、眼動范圍、入眼亮度、透光率、光學畸變等指標達到國際領先水平,支撐小型化輕量級產品實現量產。
(三)全息和光場顯示技術
研究大角度高信息量全息3D光波調制、超精密微納制造、光場實時渲染、全息圖大數據實時生成算法等技術,研制全息3D波前調制器件、3D視頻處理芯片和光場裸眼3D顯示模組,實現高沉浸感全息顯示和大視角多視點光場顯示。到2025年,光場裸眼3D光學器件貼合精度達到亞微米級,視場角、視覺分辨率、顯示幀率、全息圖像的空間帶寬積和散斑噪聲對比度、光場顯示的視點數等指標達到國際先進水平。
六、加強感知交互技術突破
面向“元宇宙”自然交互中長時間、高響應與多樣性的需求,重點布局低功耗交互算法、多模傳感、手勢與眼動追蹤、腦機接口等關鍵軟硬件技術研發(fā),實現自然環(huán)境下的視覺、聽覺、觸覺、體態(tài)等多模態(tài)信息感知交互。
(一)多模傳感技術
研究微型距離傳感、深度視覺傳感、低功耗壓電聲學/柔性纖維/織物皮膚/高精度微機電慣性等狀態(tài)傳感和輕量級交互算法等技術,助推國產芯片、國產零部件在終端應用。到2025年,微距計算、注視點渲染、多模式無盲區(qū)人機交互、傳感密度、壓強分辨率、零偏精度等關鍵技術指標達到國際先進水平,支撐距離、視覺、聲音、壓力和慣性等高性能低功耗傳感器量產。
(二)手勢與眼動追蹤技術
研究高性能、低功耗、高魯棒性的手勢與眼動追蹤等技術,助推“元宇宙”人機交互向自然化、情景化與智能化方向演進。到2025年,識別類型數量、追蹤延時、手指追蹤精度與眼動追蹤精度等關鍵技術指標達到國際先進水平,實現高精度、多種類、低延遲的手勢識別和眼動追蹤。
(三)腦機接口技術
開展多學科交叉的理論和技術研究,構建面向“元宇宙”的虛實融合腦機接口體系,研究腦機接口神經界面、神經融合芯片、柔性電極、神經信號編碼與解碼技術等前沿技術,研發(fā)面向“元宇宙”的新型超低功耗腦機交互硬件系統(tǒng)和原型產品。
七、開展區(qū)塊鏈技術研發(fā)布局
面向“元宇宙”去中心化/多中心化的組織規(guī)則,基于異構多鏈融合技術路線,重點布局Web3網絡操作系統(tǒng)、區(qū)塊鏈數字身份、分布式可信存儲、可信計算芯片等支撐技術和數字監(jiān)管技術研發(fā),構建高性能、可擴展和安全可控的新型區(qū)塊鏈體系架構,形成承載大規(guī)模“元宇宙”創(chuàng)新應用的基礎設施。
(一)Web3網絡操作系統(tǒng)
研究區(qū)塊鏈系統(tǒng)抽象、資源管理與調度模型,突破底層區(qū)塊鏈系統(tǒng)的適配與封裝、鏈上數據資源解析與定位、跨鏈互操作等技術,完善區(qū)塊鏈數據標準、系統(tǒng)應用接口標準和跨鏈互操作標準,形成跨區(qū)塊鏈系統(tǒng)的Web3網絡操作系統(tǒng)。研發(fā)適配多種異構底層區(qū)塊鏈系統(tǒng)(包括主流公有鏈和聯盟鏈)的應用開發(fā)中間件和工具鏈,支持通過統(tǒng)一接口實現底層異構區(qū)塊鏈系統(tǒng)訪問、數字身份內容管理、跨鏈應用數據遷移等功能。
(二)數字身份管理技術
研究自主可控低成本區(qū)塊鏈數字身份SIM卡芯片、身份認證和權限管理、虛實身份映射綁定等技術,開發(fā)安全便捷的區(qū)塊鏈數字身份管理終端,支持國密算法(SM系列)等主流密碼算法、新型的抗量子/門限/可聚合數字簽名算法、BIP32/44等賬戶派生協議,以硬件安全技術保護私鑰生成、存儲、數字簽名的安全性。支持區(qū)塊鏈賬戶的實名認證,構建“元宇宙”數字身份與現實世界身份綁定的數字身份體系。
(三)分布式可信存儲技術
研究區(qū)塊鏈動態(tài)數據分片存儲等技術,支持通過智能合約訪問數據、鏈上高效驗證數據有效性,單鏈系統(tǒng)存儲空間可隨共識節(jié)點數量線性擴展。
(四)可信計算芯片技術
突破可信執(zhí)行環(huán)境、密碼學算法(零知識證明、同態(tài)加密等)加速芯片等軟硬件關鍵技術,開發(fā)自主可控的可信計算芯片,計算性能和效率達到國際先進水平。
八、加快創(chuàng)新平臺和場景建設
圍繞“元宇宙”技術創(chuàng)新、試驗驗證和生態(tài)構建,建設一批技術創(chuàng)新和服務平臺,打造關鍵技術試驗驗證場景,加快國產技術創(chuàng)新和應用,促進“元宇宙”企業(yè)培育和集聚發(fā)展。
(一)技術創(chuàng)新支撐平臺
依托第三方機構、行業(yè)龍頭企業(yè)、高校科研院所,打造“元宇宙”關鍵技術創(chuàng)新平臺和創(chuàng)新公共服務平臺,持續(xù)優(yōu)化“元宇宙”技術突破、應用創(chuàng)新和產業(yè)發(fā)展支撐環(huán)境。建設“元宇宙”可信技術監(jiān)管支撐平臺,支撐相關監(jiān)管政策研究和治理體系建設。
(二)技術試驗驗證場景
依托本市資源優(yōu)勢及特色,面向城市經濟、生活、治理的數字化轉型等重要應用需求,鼓勵本市“元宇宙”技術創(chuàng)新企業(yè)與行業(yè)應用需求方協同發(fā)展,打造文化旅游、工業(yè)制造等高水平技術試驗驗證場景,支持技術實驗驗證與優(yōu)化迭代,推動形成一批具有競爭力的解決方案,加快提升城市治理能力現代化水平。
九、保障措施
(一)加強組織領導
組建“元宇宙”關鍵技術攻關工作小組,加強頂層設計和統(tǒng)籌協調,市區(qū)聯動,確保重點任務落實。建立專家組,持續(xù)深入跟蹤國內外動態(tài),組織開展技術交流,分析研判戰(zhàn)略趨勢,有效支撐戰(zhàn)略決策。
(二)實施有組織科研攻關
面向重大前沿科學問題,探索政府長周期科研支持方式,鼓勵社會力量投入,進一步激發(fā)基礎研究活力。面向重大場景應用需求,強化企業(yè)創(chuàng)新主體地位,打造創(chuàng)新聯合體,開展重大關鍵技術、重大戰(zhàn)略產品、重大試驗驗證研究。探索“揭榜掛帥”、里程碑管理、賽馬制等機制,加快創(chuàng)新成果的應用。
(三)完善創(chuàng)業(yè)孵化和金融服務
鼓勵園區(qū)、高質量孵化器為“元宇宙”企業(yè)提供高水平技術篩選、知識產權運營、創(chuàng)新鏈及產業(yè)鏈資源鏈接等服務,暢通“發(fā)現-轉化-孵化-產業(yè)化”鏈條。加強投孵聯動,撬動和引導“耐心資本”流向“元宇宙”高質量科技成果、種子期、初創(chuàng)期以及高成長科技企業(yè)。加大科技金融產品供給,引導銀行、保險、擔保等金融機構加大與高質量孵化器的合作力度,圍繞“元宇宙”“早、小、硬”企業(yè)創(chuàng)新金融產品和服務,促進一批創(chuàng)新企業(yè)登陸科創(chuàng)板。
(四)強化人才引育
立足全球視野,用好本市人才支持措施,引聚一批“元宇宙”人才。引導高校、科研院所、企業(yè)等加大青年“元宇宙”人才培養(yǎng)力度,支持青年人才挑大梁、當主角。支持符合條件的本市高校聚焦重點產業(yè)領域自主設置相關二級學科或交叉學科,構建行業(yè)企業(yè)與高校共同參與、覆蓋專業(yè)碩士與專業(yè)博士的人才培養(yǎng)模式,培養(yǎng)緊缺急需人才。