应用办公生活信息教育商业
投稿投诉
商业财经
汽车智能
教育国际
房产环球
信息数码
热点科技
生活手机
晨报新闻
办公软件
科学动态
应用生物
体育时事

MetaCMU推出VR史诗升级!HyperReel实现高保真

  编辑:好困Aeneas
  【新智元导读】近日,Meta和CMU的研究人员提出了一种全新的6DoF视频表征方法,单张RTX3090即可每秒18帧实现百万像素分辨率渲染,或将给VR带来革命性的高质量体验。
  最近,由Meta和卡内基梅隆大学提出的6DoF视频表征模型HyperReel,可能预示着一个全新的VR杀手级应用即将诞生!
  所谓六自由度视频(6DoF),简单来说就是一个超高清的4D体验式回放。
  其中,用户可以完全置身于动态场景里面,并且可以自由地移动。而当他们任意改变自己的头部位置(3DoF)和方向(3DoF)时,与之相应的视图也会随之生成。
  论文地址:https:arxiv。orgabs2301。02238
  与之前的工作相比,HyperReel最大的优势在于内存和计算效率,而这两点对于便携式VR头显来说都至关重要。
  而且只需采用vanillaPyTorch,HyperReel就能在单张英伟达RTX3090上,以每秒18帧的速度实现百万像素分辨率的渲染。
  太长不看版:
  1。提出一种可在高分辨率下实现高保真度、高帧率的渲染的光线条件采样预测网络,以及一种紧凑且内存高效的动态体积表征;
  2。6DoF视频表征方法HyperReel结合了以上两个核心部分,可以在实时渲染百万像素分辨率的同时,实现速度、质量和内存之间的理想平衡;
  3。HyperReel在内存需求、渲染速度等多个方面均优于其他方法。
  论文介绍
  体积场景表征(volumetricscenerepresentation)能够为静态场景提供逼真的视图合成,并构成了现有6DoF视频技术的基础。
  然而,驱动这些表征的体积渲染程序,需要在质量、渲染速度和内存效率方面,进行仔细的权衡。
  现有的方法有一个弊端不能同时实现实时性能、小内存占用和高质量渲染,而在极具挑战性的真实场景中,这些都是极为重要的。
  为了解决这些问题,研究人员提出了HyperReel一种基于NeRF技术(神经辐射场)的6DoF视频表征方法。
  其中,HyperReel的两个核心部分是:
  1。一个光线条件下的采样预测网络,能够在高分辨率下进行高保真、高帧率的渲染;
  2。一个紧凑且内存高效的动态体积表征。
  与其他方法相比,HyperReel的6DoF视频管线不仅在视觉质量上表现极佳,而且内存需求也很小。
  同时,HyperReel无需任何定制的CUDA代码,就能在百万像素分辨率下实现18帧秒的渲染速度。
  具体来说,HypeReel通过结合样本预测网络和基于关键帧的体积表征法,从而实现了高渲染质量、速度和内存效率之间的平衡。
  其中的样本预测网络,既能加速体积渲染,又能提高渲染质量,特别是对于具有挑战性的视图依赖性的场景。
  而在基于关键帧的体积表征方面,研究人员采用的是TensoRF的扩展。
  这种方法可以在内存消耗与单个静态帧TensoRF大致相同的同时,凑地表征了一个完整的视频序列。
  实时演示
  接下来,我们就实时演示一下,HypeReel在512x512像素分辨率下动态和静态场景的渲染效果。
  值得注意的是,研究人员在Technicolor和Shiny场景中使用了更小的模型,因此渲染的帧率大于40FPS。对于其余的数据集则使用完整模型,不过HypeReel仍然能够提供实时推理。
  Technicolor
  Shiny
  Stanford
  Immersive
  DoNeRF
  实现方法
  为了实现HeperReel,首先要考虑的问题,就是要优化静态视图合成的体积表征。
  像NeRF这样的体积表征,就是对静态场景在3D空间中的每一个点的密度和外观,进行建模。
  更具体地说,通过函数
  将位置x和方向
  沿着条射线映射到颜色
  和密度(x)。
  此处的可训练参数,可以是神经网络权重、N维数组条目,或两者的组合。
  然后就可以渲染静态场景的新视图
  其中
  表征从o到
  的透射率。
  在实践中,可以通过沿给定射线获取多个样本点,然后使用数值求积来计算方程式1:
  其中权重
  指定了每个样本点的颜色对输出的贡献。
  体积渲染的网格示例
  在静态场景的HyperReel中,给定一组图像和相机姿势,而训练目标就是重建与每条光线相关的测量颜色。
  大多数场景是由实体物体组成的,这些物体的表面位于3D场景体积内的一个2D流形上。在这种情况下,只有一小部分样本点会影响每条光线的渲染颜色。
  因此,为了加速体积渲染,研究人员希望只对非零
  的点,查询颜色和不透明度。
  如下图所示,研究人员使用前馈网络来预测一组样本位置
  。具体来说,就是使用样本预测网络
  ,将射线
  映射到样本点
  ,以获取体积等式2中的渲染。
  这里,研究人员使用Plucker的参数化来表征光线。
  但是这其中有一个问题:给网络太多的灵活性,可能会对视图合成质量产生负面影响。例如,如果(x1,。。。,xn)是完全任意的点,那么渲染可能看起来不是多视图致的。
  为了解决这个问题,研究人员选择用样本预测网络来预测一组几何基元G1,。。。,Gn的参数,其中基元的参数可以根据输入射线的不同而变化。为了得到样本点,将射线与每个基元相交。
  如图a所示,给定源自相机原点o并沿方向传播的输入光线后,研究人员首先使用Plucker坐标,重新对光线进行参数化。
  如图b所示,一个网络
  将此射线作为输入,输出一组几何基元{
  }(如轴对齐的平面和球体)和位移矢量{
  }的参数。
  如图c所示,为了生成用于体积渲染的样本点{
  },研究人员计算了射线和几何基元之间的交点,并将位移矢量添加到结果中。预测几何基元的好处是使采样信号平滑,易于插值。
  位移矢量为采样点提供了额外的灵活性,能够更好地捕捉到复杂的视线依赖的外观。
  如图d所示,最终,研究人员通过公式2进行体积渲染,产生一个像素颜色,并根据相应的观察结果,对它进行了监督训练。
  基于关键帧的动态体积
  通过上述办法,就可以有效地对3D场景体积进行采样。
  如何表征体积呢?在静态情况下,研究人员使用的是内存有效的张量辐射场(TensoRF)方法;在动态情况下,就将TensoRF扩展到基于关键帧的动态体积表征。
  下图解释了从基于关键帧的表征中,提取动态的样本点表征的过程。
  如图1所示,首先,研究人员使用从样本预测网络输出的速度{
  },将时间
  处的样本点{
  }平移到最近的关键帧
  中。
  然后,如图2所示,研究人员查询了时空纹理的外积,产生了每个样本点的外观特征,然后通过公式10将其转换成颜色。
  通过这样的过程,研究人员提取了每个样本的的不透明度。
  结果对比静态场景的比较
  在此,研究人员将HyperReel与现有的静态视图合成方法(包括NeRF、InstantNGP和三种基于采样网络的方法)进行了比较。DoNeRF数据集
  DoNeRF数据集包含六个合成序列,图像分辨率为800800像素。
  如表1所示,HyperReel的方法在质量上优于所有基线,并在很大程度上提高了其他采样网络方案的性能。
  同时,HyperReel是用vanillaPyTorch实现的,可在单张RTX3090GPU上以6。5FPS的速度渲染800800像素的图像(或者用Tiny模型实现29FPS的渲染)。
  此外,与R2L的88层、256个隐藏单元的深度MLP相比,研究人员提出的6层、256个隐藏单元的网络外加TensoRF体积骨干的推理速度更快
  LLFF数据集
  LLFF数据集包含8个具有1008756像素图像的真实世界序列。
  如表1所示,HyperReel的方法优于DoNeRF、AdaNeRF、TermiNeRF和InstantNGP,但取得的质量比NeRF略差。
  由于错误的相机校准和输入视角的稀疏性,这个数据集对显式体积表征来说是一个巨大的挑战。
  动态场景的比较Technicolor数据集
  Technicolor光场数据集包含了由时间同步的44摄像机装置拍摄的各种室内环境的视频,其中每个视频流中的每张图片都是20481088像素。
  研究人员将HyperReel和Neural3DVideo在全图像分辨率下对这个数据集的五个序列(Birthday,Fabien,Painter,Theater,Trains)进行比较,每个序列有50帧长。
  如表2所示,HyperReel的质量超过了Neural3DVideo,同时每个序列的训练时间仅为1。5个小时(而不是Neural3D的1000多个小时),并且渲染速度更快。Neural3DVideo数据集
  Neural3DVideo数据集包含6个室内多视图视频序列,由20台摄像机以27042028像素的分辨率拍摄。
  如表2所示,HyperReel在这个数据集上的表现超过了所有的基线方法,包括NeRFPlayer和StreamRF等最新工作。
  特别是,HyperReel在数量上超过了NeRFPlayer,渲染速度是其40倍左右;在质量上超过了StreamRF,尽管其采用Plenoxels为骨干的方法(使用定制的CUDA内核来加快推理速度)渲染速度更快。
  此外,HyperReel平均每帧消耗的内存比StreamRF和NeRFPlayer都要少得多。谷歌Immersive数据集
  谷歌Immersive数据集包含了各种室内和室外环境的光场视频。
  如表2所示,HyperReel在质量上比NeRFPlayer的要好1dB,同时渲染速度也更快。
  有些遗憾的是,HyperReel目前还没有达到VR所要求的渲染速度(理想情况下为72FPS,立体声)。
  不过,由于该方法是在vanillaPyTorch中实现的,因此可以通过比如自定义的CUDA内核等工作,来进一步优化性能。
  作者介绍
  论文一作BenjaminAttal,目前在卡内基梅隆机器人研究所攻读博士学位。研究兴趣包括虚拟现实,以及计算成像和显示。
  参考资料:
  https:arxiv。orgabs2301。02238
  https:hyperreel。github。io
  https:hub。baai。ac。cnview23146
  https:twitter。comDrJimFanstatus1611791338034593793

45分钟,50!利物浦太残暴,30年神迹诞生,渣叔笑开了花英超第4轮,利物浦坐镇主场迎战伯恩茅斯。上半场,利物浦50遥遥领先,全队如同打了鸡血,斗志旺盛!OPTA数据显示,这是利物浦在英超30年历史上,队史首次在上半场连进5球。……赣锋锂业上半年净利润72。54亿元同比增长412赣锋锂业(002460)公告,2022年上半年净利润72。54亿元,同比增长412。02;同日公告,2022年8月30日召开的第五届董事会第四十七次会议审议通过了《关于赣锋锂电……007戴的欧米茄,拍卖估价16万,同款公价7万,就可以入手〔腕表之家钟表技术〕下个月,9月28日,佳士得拍卖,将举行007詹姆斯邦德60周年拍卖会(SixtyYearsofJamesBond)。这场拍卖会,会拍卖007电影中的一些用品……欧冠32强排定座次C罗下家云遮雾绕8月25日凌晨,20222023欧冠附加赛结束了第二回合的争夺,本赛季欧冠32支豪强最终浮出水面,围绕着金光闪耀的圣博莱德杯(欧冠奖杯),即将展开群雄逐鹿,欧罗巴大陆硝烟渐浓。……目前值得买的千元手机,这四款用三五年没问题,八月购机必看目前值得买的千元手机,这四款用三五年没问题,八月购机必看!RedmiNote11Pro配置:CPU:天玑920屏幕:6。67英寸、1080P、120Hz、AM……幼儿园监控曝光,什么样的孩子容易受排挤?当妈之后,最见不得关于孩子的负面新闻,几天前,朋友发来一个视频,看完心里五味杂陈。。。。。。在沈阳,一位十几岁的小女孩,当街被几个少男、少女连扇30多个耳光,期间不堪被打……有些事情可以被原谅,但是有些事情是不能被原谅的穿衣自由?女生都是爱美的,没有哪一个女生不爱美。女生都喜欢穿着自己感觉好看的衣服把自己打扮得美美的。有些人爱好和服,觉得和服好看。我想问一下唐装不好看吗?旗袍……哪有什么真正的脾气好,不过都是装出来的罢了有时候脾气好的人真的很吃亏,因为并不是所有的人都会感激你对他的好有些人会一边夸赞着你脾气好,能容事,一边一次又一次地挑衅你的底线我身边就有这样一位朋友,她从小就是一……你真的自由吗?打卡挑战局《自由与爱情》说:生命诚可贵,爱情价更高。若为自由故,两者皆可抛。每个人都会死,但并不是每个人真正地活过自由,一个多么平凡却又可贵的词,你有真正静下……谢园一生两段婚姻,61岁离世时无儿无女,他的妻子怎样了?谢园是一个人们都熟知的演员,他演过《孩子王》《疯狂的代价》《上海一家人》等众多影视作品。作为演员,谢园深受人们喜爱。而私下里的谢园,却也是让人又爱又恨。他作为……机器人纺织真的是一门好生意吗?除了汽车、电子、机械、仓储物流、智能家居等已形成较大规模机器人应用的领域,新技术的涌现,以及多个地方产业协同共谋生态加速打造跨区域产业生态圈,使得越来越多行业进入深度转型期。……ampampquot祸从口出ampampquot张大大无视星吴镇宇这辈子最后悔的事就是没能撕烂张大大的嘴当初吴镇宇带着儿子费曼参加《爸爸去哪儿》没曾想因为工作人员的失误费曼不幸摔伤眼部被鉴定为永久性伤害要知……
传奇世界两大神豪扎堆的区服,大神们的故事一辈子都讲不完当年在传奇世界众多区服中有两个区是所有玩家公认的巅峰,这两个区服每一位玩家拉出来都吊打其他区服的玩家,他们就是一区开天和十五区五羊了,这两个区服中的土豪大佬那真的是一堆一堆的出……33,樊振东怒吼赢下比赛,对手曾战胜马龙王楚钦全国乒乓球锦标赛继续进行,在11月5日的一场男团半决赛中,樊振东领衔的上海队对阵本次赛会黑马黑龙江队,首盘比赛,樊振东就遇到了对手顽强的抵抗!樊振东在本次全锦赛的表现非常……国乒3消息马龙退赛忙捞金,王楚钦2人曝伤病,孙颖莎粉丝被批最近全国锦标赛正在激烈进行中,国乒各大主力回归到各自的省份球队,努力争夺好成绩。值得关注的是,在这一次整体的比赛过程中,球队内部发生三个非常备受关注的消息,每个都关乎到众多主力……你的微信被陌生的设备登录了吗?这两天,整个头条都在说关于微信被登录的事情,昨天我也赶紧查了一下,挺正常的,没有异常登录。我还给人解释了是不是手机系统的型号和我们购买的型号不一样!今天发现头条又推送微信……进入深秋,少吃生姜萝卜,建议多吃这6种应季食材,驱寒滋补秋日生活打卡季在每个季节都有当季特有的美味食材,比如冬天的萝卜,秋天的生姜。进入秋季,很多人也开始养生起来,对老年人来说是一场考验,除了要添衣御寒外,饮食上也要做好调节。……微信这5个设置还开着?为了你的隐私着想,建议关闭大家平常使用微信的时候,会不会对默认设置进行更改呢?其实微信有一些默认打开的设置,大家可能没有注意到,但有心的人可能会通过这些设置获取你的信息,这样就有可能泄露隐私,为了……一个人的贫穷总有原因,消除根源便可转运文唯晨《道德经》有云:将欲取之,必先予之。这世间的一切皆有因果,一个人想要拥有什么,就必须要为此有所付出。甚至有些付出还不一定能换来回报。生活总喜欢用各种各样的方式……国庆去哪儿湘南学联纪念馆赓续红色血脉照亮前行之路如果说,四季的旅行是有颜色的,赤橙黄绿青蓝紫,那么在国庆即将来临时,就为这个小长假旅行选一个有意义的颜色红色吧。在山山水水中感受曾经的革命岁月,听一段可歌可泣的故事,重走一段革……盛世莲花画意黄马2022南昌县(小蓝经开区)第二届大地艺术系盛世莲花,画意黄马,9月26日,南昌县2022第二届大地艺术活动展在南昌市南昌县黄马乡开幕。南昌县委常委、宣传部长胡朝辉、县人大常委会党组副书记、副主任刘玉等相关部门负责人出席……口干不一定是秋燥,可能是这些疾病的征兆!中医专家支招小吊梨汤秋季,气温开始降低,雨量减少,空气湿度相对降低,气候偏于干燥,这个时节干燥的气候很容易伤损肺阴,从而产生口干咽燥,干咳少痰,皮肤干燥,便秘等症状。总有人会提醒:小心秋燥哦。……马云选择孙正义是我最正确的决定对于合伙人和投资人,马云有自己独特的认知。他说,我的搭档挺好的,像孙正义。软银的孙正义,他是我非常敬佩的人。和他谈判后我可以在六分钟内解决所有问题。第一次谈判,我们在6分钟内谈……山东最新公布!涉及烟台这些老旧小区山东省住房和城乡建设厅发布《关于公布2023年城镇老旧小区改造计划的通知》。通知显示,2023年,全省共计划改造老旧小区3898个,涉及居民69。95万户、楼栋数20712个、……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网