应用办公生活信息教育商业
投稿投诉
商业财经
汽车智能
教育国际
房产环球
信息数码
热点科技
生活手机
晨报新闻
办公软件
科学动态
应用生物
体育时事

MetaCMU推出VR史诗升级!HyperReel实现高保真

  编辑:好困Aeneas
  【新智元导读】近日,Meta和CMU的研究人员提出了一种全新的6DoF视频表征方法,单张RTX3090即可每秒18帧实现百万像素分辨率渲染,或将给VR带来革命性的高质量体验。
  最近,由Meta和卡内基梅隆大学提出的6DoF视频表征模型HyperReel,可能预示着一个全新的VR杀手级应用即将诞生!
  所谓六自由度视频(6DoF),简单来说就是一个超高清的4D体验式回放。
  其中,用户可以完全置身于动态场景里面,并且可以自由地移动。而当他们任意改变自己的头部位置(3DoF)和方向(3DoF)时,与之相应的视图也会随之生成。
  论文地址:https:arxiv。orgabs2301。02238
  与之前的工作相比,HyperReel最大的优势在于内存和计算效率,而这两点对于便携式VR头显来说都至关重要。
  而且只需采用vanillaPyTorch,HyperReel就能在单张英伟达RTX3090上,以每秒18帧的速度实现百万像素分辨率的渲染。
  太长不看版:
  1。提出一种可在高分辨率下实现高保真度、高帧率的渲染的光线条件采样预测网络,以及一种紧凑且内存高效的动态体积表征;
  2。6DoF视频表征方法HyperReel结合了以上两个核心部分,可以在实时渲染百万像素分辨率的同时,实现速度、质量和内存之间的理想平衡;
  3。HyperReel在内存需求、渲染速度等多个方面均优于其他方法。
  论文介绍
  体积场景表征(volumetricscenerepresentation)能够为静态场景提供逼真的视图合成,并构成了现有6DoF视频技术的基础。
  然而,驱动这些表征的体积渲染程序,需要在质量、渲染速度和内存效率方面,进行仔细的权衡。
  现有的方法有一个弊端不能同时实现实时性能、小内存占用和高质量渲染,而在极具挑战性的真实场景中,这些都是极为重要的。
  为了解决这些问题,研究人员提出了HyperReel一种基于NeRF技术(神经辐射场)的6DoF视频表征方法。
  其中,HyperReel的两个核心部分是:
  1。一个光线条件下的采样预测网络,能够在高分辨率下进行高保真、高帧率的渲染;
  2。一个紧凑且内存高效的动态体积表征。
  与其他方法相比,HyperReel的6DoF视频管线不仅在视觉质量上表现极佳,而且内存需求也很小。
  同时,HyperReel无需任何定制的CUDA代码,就能在百万像素分辨率下实现18帧秒的渲染速度。
  具体来说,HypeReel通过结合样本预测网络和基于关键帧的体积表征法,从而实现了高渲染质量、速度和内存效率之间的平衡。
  其中的样本预测网络,既能加速体积渲染,又能提高渲染质量,特别是对于具有挑战性的视图依赖性的场景。
  而在基于关键帧的体积表征方面,研究人员采用的是TensoRF的扩展。
  这种方法可以在内存消耗与单个静态帧TensoRF大致相同的同时,凑地表征了一个完整的视频序列。
  实时演示
  接下来,我们就实时演示一下,HypeReel在512x512像素分辨率下动态和静态场景的渲染效果。
  值得注意的是,研究人员在Technicolor和Shiny场景中使用了更小的模型,因此渲染的帧率大于40FPS。对于其余的数据集则使用完整模型,不过HypeReel仍然能够提供实时推理。
  Technicolor
  Shiny
  Stanford
  Immersive
  DoNeRF
  实现方法
  为了实现HeperReel,首先要考虑的问题,就是要优化静态视图合成的体积表征。
  像NeRF这样的体积表征,就是对静态场景在3D空间中的每一个点的密度和外观,进行建模。
  更具体地说,通过函数
  将位置x和方向
  沿着条射线映射到颜色
  和密度(x)。
  此处的可训练参数,可以是神经网络权重、N维数组条目,或两者的组合。
  然后就可以渲染静态场景的新视图
  其中
  表征从o到
  的透射率。
  在实践中,可以通过沿给定射线获取多个样本点,然后使用数值求积来计算方程式1:
  其中权重
  指定了每个样本点的颜色对输出的贡献。
  体积渲染的网格示例
  在静态场景的HyperReel中,给定一组图像和相机姿势,而训练目标就是重建与每条光线相关的测量颜色。
  大多数场景是由实体物体组成的,这些物体的表面位于3D场景体积内的一个2D流形上。在这种情况下,只有一小部分样本点会影响每条光线的渲染颜色。
  因此,为了加速体积渲染,研究人员希望只对非零
  的点,查询颜色和不透明度。
  如下图所示,研究人员使用前馈网络来预测一组样本位置
  。具体来说,就是使用样本预测网络
  ,将射线
  映射到样本点
  ,以获取体积等式2中的渲染。
  这里,研究人员使用Plucker的参数化来表征光线。
  但是这其中有一个问题:给网络太多的灵活性,可能会对视图合成质量产生负面影响。例如,如果(x1,。。。,xn)是完全任意的点,那么渲染可能看起来不是多视图致的。
  为了解决这个问题,研究人员选择用样本预测网络来预测一组几何基元G1,。。。,Gn的参数,其中基元的参数可以根据输入射线的不同而变化。为了得到样本点,将射线与每个基元相交。
  如图a所示,给定源自相机原点o并沿方向传播的输入光线后,研究人员首先使用Plucker坐标,重新对光线进行参数化。
  如图b所示,一个网络
  将此射线作为输入,输出一组几何基元{
  }(如轴对齐的平面和球体)和位移矢量{
  }的参数。
  如图c所示,为了生成用于体积渲染的样本点{
  },研究人员计算了射线和几何基元之间的交点,并将位移矢量添加到结果中。预测几何基元的好处是使采样信号平滑,易于插值。
  位移矢量为采样点提供了额外的灵活性,能够更好地捕捉到复杂的视线依赖的外观。
  如图d所示,最终,研究人员通过公式2进行体积渲染,产生一个像素颜色,并根据相应的观察结果,对它进行了监督训练。
  基于关键帧的动态体积
  通过上述办法,就可以有效地对3D场景体积进行采样。
  如何表征体积呢?在静态情况下,研究人员使用的是内存有效的张量辐射场(TensoRF)方法;在动态情况下,就将TensoRF扩展到基于关键帧的动态体积表征。
  下图解释了从基于关键帧的表征中,提取动态的样本点表征的过程。
  如图1所示,首先,研究人员使用从样本预测网络输出的速度{
  },将时间
  处的样本点{
  }平移到最近的关键帧
  中。
  然后,如图2所示,研究人员查询了时空纹理的外积,产生了每个样本点的外观特征,然后通过公式10将其转换成颜色。
  通过这样的过程,研究人员提取了每个样本的的不透明度。
  结果对比静态场景的比较
  在此,研究人员将HyperReel与现有的静态视图合成方法(包括NeRF、InstantNGP和三种基于采样网络的方法)进行了比较。DoNeRF数据集
  DoNeRF数据集包含六个合成序列,图像分辨率为800800像素。
  如表1所示,HyperReel的方法在质量上优于所有基线,并在很大程度上提高了其他采样网络方案的性能。
  同时,HyperReel是用vanillaPyTorch实现的,可在单张RTX3090GPU上以6。5FPS的速度渲染800800像素的图像(或者用Tiny模型实现29FPS的渲染)。
  此外,与R2L的88层、256个隐藏单元的深度MLP相比,研究人员提出的6层、256个隐藏单元的网络外加TensoRF体积骨干的推理速度更快
  LLFF数据集
  LLFF数据集包含8个具有1008756像素图像的真实世界序列。
  如表1所示,HyperReel的方法优于DoNeRF、AdaNeRF、TermiNeRF和InstantNGP,但取得的质量比NeRF略差。
  由于错误的相机校准和输入视角的稀疏性,这个数据集对显式体积表征来说是一个巨大的挑战。
  动态场景的比较Technicolor数据集
  Technicolor光场数据集包含了由时间同步的44摄像机装置拍摄的各种室内环境的视频,其中每个视频流中的每张图片都是20481088像素。
  研究人员将HyperReel和Neural3DVideo在全图像分辨率下对这个数据集的五个序列(Birthday,Fabien,Painter,Theater,Trains)进行比较,每个序列有50帧长。
  如表2所示,HyperReel的质量超过了Neural3DVideo,同时每个序列的训练时间仅为1。5个小时(而不是Neural3D的1000多个小时),并且渲染速度更快。Neural3DVideo数据集
  Neural3DVideo数据集包含6个室内多视图视频序列,由20台摄像机以27042028像素的分辨率拍摄。
  如表2所示,HyperReel在这个数据集上的表现超过了所有的基线方法,包括NeRFPlayer和StreamRF等最新工作。
  特别是,HyperReel在数量上超过了NeRFPlayer,渲染速度是其40倍左右;在质量上超过了StreamRF,尽管其采用Plenoxels为骨干的方法(使用定制的CUDA内核来加快推理速度)渲染速度更快。
  此外,HyperReel平均每帧消耗的内存比StreamRF和NeRFPlayer都要少得多。谷歌Immersive数据集
  谷歌Immersive数据集包含了各种室内和室外环境的光场视频。
  如表2所示,HyperReel在质量上比NeRFPlayer的要好1dB,同时渲染速度也更快。
  有些遗憾的是,HyperReel目前还没有达到VR所要求的渲染速度(理想情况下为72FPS,立体声)。
  不过,由于该方法是在vanillaPyTorch中实现的,因此可以通过比如自定义的CUDA内核等工作,来进一步优化性能。
  作者介绍
  论文一作BenjaminAttal,目前在卡内基梅隆机器人研究所攻读博士学位。研究兴趣包括虚拟现实,以及计算成像和显示。
  参考资料:
  https:arxiv。orgabs2301。02238
  https:hyperreel。github。io
  https:hub。baai。ac。cnview23146
  https:twitter。comDrJimFanstatus1611791338034593793

再次提醒不论男女,日常多吃这3物,增加骨密度,骨骼更强壮你是否听过骨密度这个专有名词?骨密度其实就是检验骨质疏松和骨骼健康的标准。根据最新标准显示,骨密度值11为正常,低于2。5,则有骨质疏松的风险。如今有越来越多的人,就因为不注意……英超前六夏窗最佳引援盘点波普最划算,哈兰德难逢敌手?足球助力团今年夏窗,英超诸强都砸下重金引援补强,曼联和切尔西等豪门自然没少花钱,新贵纽卡也出手大方。那么,每家俱乐部都买到靠谱的强援了吗?1。阿森纳:热苏斯(按各队……你有没有一颗郑重的心人的力气是随练随长的,假如你一直举轻若重,到最后说不定真能举起一座昆仑;若是一直举重若轻,到最后,恐怕举一根鹅毛都得使出吃奶的力气。这既是不同人的两种不同态度,又是同一个人的两……时隔3年再看12换1,湖人和浓眉成为最大输家,只有他是赢家NBA休赛期已经过去大半,距离新赛季开始的时间越来越近,不少球队都想利用最后的时间去进行阵容的调整,寻求交易。其中就包括爵士,在送走戈贝尔之后,爵士一直寻求将米切尔也送走球队,……特斯拉二手车价失控!13万公里Model3卖37万元,官方当近期,新能源汽车受到原材料涨价、供应链短缺等持续影响,很多车企出现了产能不足,且新车价格不断走高的情况。此前我们曾报道过,有特斯拉中国官方展示的二手车出现了价格倒挂的情况……NASA拥有自己铁路的真正原因当说到NASA时你可能会想到宇宙飞船、月球任务和火星上的机器人。你可能不会想到的是老式火车,但实际上火车一直是NASA太空任务成功的重要组成部分。不然你认为他们如何移动那些令人……挡不住了!1900亿颗,美宣布重要决定,中国院士放弃幻想众所周知,华为5G的领先,撼动了美国科技霸主的地位,从而遭到老美的打压。回顾被老美打压的企业,要么认输妥协,要么消失,唯有华为坚强的活下来了。华为近三年面对缺芯少魂,一路走来满……每晚睡前,坚持吃一粒维生素E,身体会得到什么变化?维生素,是一种人体身体所需的微量有机物质,是维持人体健康的一种必需物质,主要调节人体的代谢,种类繁多,通常存在于食物中,如果人体补充不足或是吸收障碍,可能会患有某些疾病。……苹果深夜改正重大错误,仍被果粉疯狂吐槽诚意呢全系iPad告别Lightning接口10月19日,iPad全线大涨价的话题登上热搜。前一晚,苹果正式发布iPad10和iPadPro两款新品,起售价分别上调110……这样回你微信的人,值得你放在心里文宛露霜自从有了微信,它就渐渐地变成了大家都喜欢用的沟通媒介。每天用微信和他人交流,已经成了习惯。微信,见证着你与他人的情感轨迹,记录着一个人是否在乎你。……瑞昌市如何把金字招牌越擦越亮《中国经济周刊》记者郭志强江西报道高质量发展新时代,优化营商环境正当时。近年来,瑞昌聚焦一号改革工程,对标一流、勇闯新路,全力推动营商环境工作再上新台阶,为九江高标……贴身衣物怎么洗才干净?最好用的解决办法来了稿源:中关村在线相信不少朋友都习惯手洗自己的贴身衣物以及宝宝的衣服,觉得和T恤、裤子等衣物一起放进洗衣机清洗,混在一起洗不干净也不卫生。毕竟在很多人的印象中,T恤、裤子等……
疑难解答如何解决开机后出现BitLockerrecovery如果您遇到开机进入系统后出现BitLocker修复画面,这表示您电脑的硬盘已受BitLocker保护。当系统在维修以及其它因素下做过硬件变动或BIOS更新设置变动,都是可能发生……4000元的手机别瞎买,这3款手机能够流畅使用4年,可以闭眼4000元的手机,无论是外观设计还是核心配置,都是旗舰级别的。也就是说,在用户体验上,4000元的手机基本上都是顶级水平,具有旗舰体验。只不过,面对几十款热卖的旗舰手机,……看病那么难,这些东西你还在吃吗?它们不是真正的食物研究发现,超加工食品与癌症和早逝有关世界卫生组织(WorldHealthOrganization)、美国癌症协会(AmericancancerSociety)和美国癌症研……那些可以改变游戏方式的五星辅助本期来盘点一下那些改变游戏方式的五星角色。目前作者认为有3个,这些角色不仅大世界有优秀的体验并且深境螺旋有较高使用率。钟离必然是首位角色,也是懒人制造机器。可以让玩家扣掉……中国能源互联网的iPhone4时刻一个少为人知的事实是,杭州是中国新能源汽车城市销量榜上的前三名。但是,杭州的路况对于电动车主来说实在难言友好。西湖和西溪湿地横亘在闹市区,把大量的车流都挤到了有限几条的快……保时捷重磅车型曝光!603匹马力,扭矩破千,将和奥迪同平台在如今新能源的大浪潮里,面对咄咄逼人的新势力厂商,传统车企掉队了吗?至少保时捷的转型之路走得够稳妥。就在上周,保时捷在其斯图加图工厂的生产线上庆祝了其第100,000辆Tayc……超解馋,萝卜最好吃的做法,上锅一蒸,营养又鲜美,一口一个真香萝卜最好吃的做法,上锅蒸一蒸,营养又鲜美,一口一个太香了俗话说冬吃萝卜夏吃姜,秋冬季节比较干燥,容易上火,而萝卜性凉,含有丰富的水分、维生素、矿物质,有滋阴润燥的作用,能……西安5大豪华酒店,在世界历史名城的城墙下重新绽放出耀人的光芒头条创作挑战赛西安,陕西省会,古称长安、镐京,是中国四大古都之一,首批国家历史文化名城,也是联合国科教文组织评定的世界历史名城。西安历史上先后有13个王朝在此建都,有六处……全市动员,三年攻坚!青岛加快打造国际滨海旅游目的地青岛是著名的滨海度假旅游城市和国家历史文化名城,是广大游客心目中的诗和远方,具有发展旅游业的独特优势和良好基础。实施六大攻坚行动,实现全市旅游品质一年初见成效、两年全面起……六种生命形态,碳基生命仅排第三,排名第一的硅基生命有多可怕?综述曾获代表着科幻界至高荣誉的雨果奖和星云终身成就大师奖的世界级科幻小说家艾萨克卡西莫夫提出了六种生命可能存在的形态,在这之中,碳基生命仅仅排名第三,排名第一的是氟化硅酮……你所不知道的人间秘境秦岭如今有很多人喜欢旅行,更多的旅友喜欢流连于山水之间。尤其是华夏大地的三大龙脉(北干龙、中干龙、南干龙)。而历朝历代所建的帝都,全部在这三条龙脉上,北干龙上有:明清帝都北京城,中……中秋旅游消费呈现新变化露营夜游走俏湖北日报讯(记者王理略、通讯员汪星州)9月12日,飞猪旅行发布中秋小长假旅游消费盘点。今年中秋假期呈现长线冷本地热的特征,露营和夜游格外走俏。在本地游的带动下,不少年轻消……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网