赛事转播由观众当导播?“自由视角”技术让冬奥观赛身临其境******
你是否想象过,通过任意视角“无死角”观察比赛细节的新体验——随意滑动手机屏幕,比赛转播画面便相应转换角度,当选定角度松开手指,画面即以新的视角和位置播放;借助“子弹时间”技术,在比赛过程中“凝固时空”,全方位观看运动员的竞技瞬间……
“这个技术让我们坐在家里却好像置身赛场,360度想看哪里就看哪里,紧紧跟上瞬息万变的赛场形势。”使体育赛事观众感到新奇的这一体验,是国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”中,由优酷参与研发的历时两年多研发的“自由视角”视频技术所带来的。该技术于2021年4月亮相“相约北京”冬季体育冰上项目测试活动,分别在国家体育馆、五棵松体育馆运行测试。
赛事转播新技术的惊艳亮相,进一步推动着科技创新与冬奥赛事深度融合。通过我国企业自主研发的“自由视角”视频技术对冬奥冰雪项目进行示范播出,观众可使用电视、手机或VR设备,通过自主交互连续改变视角和位置,既可以让画面静止以观察某一个比赛瞬间的不同角度,又可以让画面保持流动而不打断比赛,让观众自己当“导播”,突破传统的定点和被动式观赏赛事,提升用户观赛体验。
观众体验自由视角观赛
“我们看到的画面并不是由相机单纯拍摄的,而是通过算法渲染出来,根据三维程序补充出来的。”优酷“自由视角”系统课题负责人盛骁杰介绍,在测试活动中,国家体育馆内的U型架上共架设40台相机,总长度达210米。通过三维重建和渲染,可以渲染出任意时长和帧率的精彩特效片段,相当于1200台相机同时拍摄拼接的效果。无须特殊装备,也不用专门的带宽,仅需手持5G手机,搭配5G网络,冰雪“发烧友”就可以便捷实现高质量的交互式观赛。
据了解,在内容生产上,“自由视角”技术能嵌入转播信号,实现多角度、清晰的即时三维比赛细节还原。针对冰球比赛,这一技术以重点镜头和氛围镜头为侧重,能够让观众感受到冰球赛事独特的魅力。此外,该技术可协助裁判更快速、精准地做出判罚,还能使运动员和教练员在日常训练中多角度直观回顾场上细节。“它可以直接植入到普通的转播当中,比如场上比赛的某一瞬间,观众或裁判没看清楚,系统可以随时生成一个360度的信号提供给裁判和转播商,能够很好地解决判罚和观赏方面的问题。”盛骁杰说。
“‘自由视角’技术的目标是建立交互式多维度观赛体验系统。具体来讲,我们想实现全新的观赛体验。”“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”项目负责人、北京大学博雅特聘教授陈宝权表示,这一技术的第一个特点是实现了多视点观赛功能,第二个是交互性,观众可以决定自己的视点,选择其最舒适的视角去看精彩的比赛。同时,“自由视角”技术还实现了多终端的观看,除通过电视收看外,还支持手机端和VR设备观看。“戴着VR设备,不需要手的交互,而是通过人们身体的自然交互,VR设备的视角能使我们进一步达到身临其境的观赛体验。”
工作人员对自由视角视频直播作测试
事实上,在应用于北京冬奥会赛事转播前,“自由视角”技术已成功落地多档综艺节目及CBA、CUBA等体育赛事场景。而测试活动中所使用的“自由视角”技术和以往的应用有所不同,项目组形成了具有自主知识产权的端到端自由视角点播和直播系统,将8K“自由视角”系统从现场阵列采集、云端三维重建、编码传输到终端解码渲染都做到了端到端实时处理,从而达到能够支持冬奥相关赛事直播的技术水平。(孔繁鑫)
AI医生出手 居家筛查宝宝视功能******
广州日报讯 (全媒体记者梁超仪 通讯员邰梦云、唐艳丽)宝宝最近总是揉眼、不断眨眼,是不是视力有问题?看诊不会配合检查怎么办?过往,婴幼儿视力评估充满了挑战,这一群体的眼健康普筛也存在空白。如今这一现状得以打破。
日前,中山大学中山眼科中心召开新闻发布会,该中心林浩添教授团队联合全球多家医疗及研发机构,研发全球首个婴幼儿视功能损伤手机智能筛查系统,研究成果于1月26日在《Nature Medicine》在线发表,为破解婴幼儿视功能损伤及相关眼病早期筛诊难题提供有效技术手段。
目前,团队与粤省事等公众平台进行对接和部署,为婴幼儿视功能损伤及相关眼病的大规模筛查提供可行方案。此外,市民搜索小程序“Ai宝睛灵”,即可便捷在家首尝“头啖汤”。
历时八年采集3652名婴幼儿视力数据
林浩添教授介绍,0-4岁婴幼儿处于视功能发育的关键时期。在这个阶段发生的眼病如果不能及时干预治疗,很可能导致患者长达几十年低视力甚至致盲,给家庭和社会带来沉重的负担。据国家疾控中心数据显示,全国5000万0-4岁婴幼儿中,眼病发病率高达9.11%,早筛早治是提高婴幼儿视功能预后的关键。
对婴幼儿进行视功能评估,早期发现眼部疾患引起的视功能损伤十分关键,却充满挑战。由于婴幼儿难以表达眼部不适,视功能损伤易被忽视或漏诊,错过最佳的治疗时机。其次,受限于认知水平,婴幼儿难以配合完成传统的眼部检查。此外,大部分检查手段对于技术人员的专业水平与设备要求高,筛查成本高,效能低,难以作为普筛技术手段普及。
为破解这一难题,该研究团队历时八年,前瞻性采集来自3652名婴幼儿的超过2500万帧注视行为大数据,依托天河二号超算中心部署的深度学习人工智能数据分析后台,对采集的数据进行深度分析,早期预警异常注视行为,筛检婴幼儿视功能损伤及相关眼病。
该技术的研发创新婴幼儿视功能损伤移动智能筛诊模式,有望极大降低婴幼儿视功能损伤早期筛诊的难度及成本。
可初筛超16种婴幼儿常见致盲眼病
记者进入小程序发现,居家用手机操作十分方便,在实操中,家长通过手机播放一段3分钟的动画视频吸引婴幼儿保持注视,可以实现对婴幼儿注视习惯和行为模式的实时捕捉,随后该系统会给出初筛的结果。
林浩添介绍,在这个人工智能系统中,研究团队基于视频大数据,深度挖掘了不同眼病引起的婴幼儿视功能损伤的异常注视行为模态,并依托深度学习人工智能技术,突破性地实现了对先天性白内障、先天性上睑下垂、先天性青光眼、斜视、视网膜母细胞瘤等超16种婴幼儿常见致盲眼病引起视功能损伤的早期检测,平均筛查准确率超85%。而在实际应用中,系统在全国4家医疗机构参与的多中心外部验证中的筛查准确率超80%。同时,研究团队招募了120个家庭参与居家筛查,便捷的系统操作流程使得99%的家长都能顺利完成筛查试验,筛查准确率达85.9%。
“我们希望通过这一人工智能系统,让有需要的家长居家便可以便捷帮助婴幼儿视力进行普筛,辨别视力状况是正常还是异常,有异常状况通过去医院专科就诊确诊具体的眼疾。”林浩添介绍。据了解,这一系统已在小程序“Ai宝睛灵”试运行上线,下一步在小程序“粤睛晶”中也计划引入。此外,该团队正与粤省事对接,希望可以在广东范围内大范围普及,后续有条件覆盖全国有需要的市民。
(文图:赵筱尘 巫邓炎)