日前， 2020年中国十大科技进展新闻揭晓， 我国无人潜水器和载人潜水器取得新突破顺利入选 。 鲜为人知的是， 为记录“奋斗者”号万米载人深潜， 搭载了中国科学技术大学视频压缩核心技术的芯片， 跟随“奋斗者”号的御用摄影师“沧海”号一起潜入万米海底 。 后期， “沧海”号拍摄的超高清视频资料， 经过中国科大教授熊志伟团队“全海深3D重建与超高清视频处理”， “奋斗者”号深潜过程以及神秘的海底世界将以裸眼3D的形式呈现给观众， 让你“身临其境”畅游万米海底 。
2020年11月10日， 万米级全海深载人潜水器 “奋斗者”号在马里亚纳海沟成功坐底， 深度10909米， 创造了中国载人深潜新纪录， 标志着我国在大深度载人深潜领域达到世界领先水平 。
为真实记录“奋斗者”号万米载人深潜， “全海深视频采集、传输、处理技术研发及系统集成和示范应用”项目被列入2018年国家重点研发计划 。 其中， “全海深3D重建与超高清视频处理技术研究”是该项目的重要内容， 这一课题由熊志伟团队承担 。
熊志伟介绍， 中国科大拥有世界领先的视频压缩技术， 他们承担的课题主要负责全海深超高清3D视频重建算法及演示系统研制， 主要研究内容包括深度估计、视角合成两个方面 。 其中， 面向深海场景， 研究结构指导的3D视频重建技术；面向实际应用， 研究高效高质量的3D视频重建算法加速， 搭建一套适用于深海场景的3D视频演示系统 。 此前， 中国科大教授吴枫主持的中科院先导专项“深海超高清三维/全景视频实时低损压缩存储系统”， 为此次任务的圆满完成奠定了坚实基础 。
“在深海场景视频拍摄过程中， 有单目相机和双目相机， 双目相机的基线固定， 要想获得任意视角下的立体显示， 需要对拍摄内容的深度进行估计， 从而换转视角重新渲染 。 这个过程需要很多关键技术的支撑 。 ”团队成员、副教授陈雪锦透露， 团队研究了多尺度残差结构预测的深度神经网络来提高3D视频重建精度， 他们在缺乏万米海深的训练视频数据情况下， 通过采用少量浅水数据以及图形合成技术来模拟深海复杂场景， 努力提高场景细节结构的保真度 。
陈雪锦介绍， 深海场景拍摄的双目视频往往是固定视角， 在后期制作时， 近景时双目相机基线较小就可以获得较好的3D效果， 但远景时双目相机基线必须够大才能感受到3D效果， 因此需要根据不同的视角合成新的3D视频 。 基于对深海场景的深度估计， 团队根据新视角合成可见部分内容， 重点在于保持背景和前景的结构细节 。 对于不可见部分， 则根据在深度估计网络中提取到的语义和几何结构信息， 指导缺失区域的内容填补， 获得保持场景内容的无缝区域填补 。
【“身临其境”畅游万米海底】全海深超高清3D视频重建算法及演示系统研制的突破， 将极大推动极端环境下视频处理理论方法与关键技术的发展， 提升我国在深海、深空等相关领域的整体研究水平， 满足视频处理在极端环境中不断拓展的迫切需求 。 “同时， 这一课题对于科普教育而言意义非凡 。 ”团队成员、教授刘东坦言， 立体逼真地展示神秘海底世界， 将能激发更多孩子的好奇心， 吸引他们将来更加积极主动探索未知 。
推荐阅读
- 高铁隧道自带“电热宝”
- “中国朋友帮助我们实现高速路梦想”
- 龙的摇篮：华龙一号的“中国心”
- f的笔顺 f的笔顺是什么
- 人为财死鸟为食亡的故事 人为财死鸟为食亡的故事是什么
- 山科大为载人潜水器“奋斗者”装上“慧眼”
- 韩国“人造太阳”刷新世界纪录
- 人固有一死出自司马迁的什么 人固有一死出自司马迁的什么书
- “天眼”要做“眼保健操”吗？
- 读书的乐趣