<small id='7sAHkfL'></small> <noframes id='f5ytU'>

  • <tfoot id='1rAN'></tfoot>

      <legend id='WBO1gz'><style id='HCakP'><dir id='CNLemwh'><q id='fCelj'></q></dir></style></legend>
      <i id='Gmu9Tx'><tr id='graqksYo'><dt id='fWYRBC0'><q id='WBp2QVERT'><span id='hm9AUwl'><b id='pz4h57Cm'><form id='s4E3Sd7x'><ins id='Zp8kij'></ins><ul id='wBzQ0mOu'></ul><sub id='mepW1Zl'></sub></form><legend id='NXKsb3ZV4'></legend><bdo id='ilpn'><pre id='jqbJokBp2e'><center id='dxqpaMbjFr'></center></pre></bdo></b><th id='ghVj10'></th></span></q></dt></tr></i><div id='YoNcLu'><tfoot id='FsXj3R6'></tfoot><dl id='lNsZ2E'><fieldset id='RVaTK'></fieldset></dl></div>

          <bdo id='6Xks'></bdo><ul id='p3jGV15NP0'></ul>

          1. <li id='wY5X7'></li>
            登陆

            原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系

            admin 2019-10-14 317人围观 ,发现0个评论

            映维网 2019年10月10日)日前,斯坦福大学的Hanseul Jun和Jeremy N. Bailenson等人发布了名为《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的论文,并介绍了他们运用单个RGBD摄像头来支撑AR头显的试验。

            团队表明,这一研讨的奉献在于为选用现成硬件的作业体系供给可用代码,而非为核算机视觉或图形学供给先进的理论。当时的研讨用一个搭载RGBD摄像头(微软Kinect v2)的体系来捕获人物,并经过AR头显(微软HoloLens)来显现场景。虽然保真度低于挑选多摄像头的其他体系,但所述体系的帧率高,推迟低,且可移动,由于它不需求一台烘托核算机。

            图1:体系紧缩宽和紧缩概述。紧缩阶段适用于连接到Kinect v2的笔记本电脑。紧缩之后,VP8帧和RVL帧将传输到HoloLens。解紧缩阶段用于接纳帧的HoloLens。

            体系的硬件端由两方面组成:装备Kinect v2的笔记本电脑和HoloLens。 软件端一起包含两个方面:将像素从Kinect v2发送到HoloLens;以及由HoloLens烘托像素。所述进程面对三个应战,而这三个应战来自于设备的三个特征:

            1. Kinect v2发生很多数据。
            2. HoloLens需求无线传输。
            3. HoloLens具有较低的核算才能。

            面对的应战是:

            a. 由于(1)和(2),需求紧缩。

            b. 由于(a)和(3),需求核算有用的解紧缩。

            c. 由于(3),需求一种有用的烘托技能。

            1. 紧缩与解紧缩

            Kinect v2具有五颜六色像素和深度像素。关于五颜六色像素,团队选用VP8编解码器,并经过libvpx和FFmpeg进行编码宽和码。虽然H.264至少表现出相同的功用,但团队挑选VP8的原因是libvpx依据修订的BSD答应,而这与团队供给体系源代码的方针共同。关于深度像素,由于需求防止有损紧缩的不确定性,所以团队挑选RVL(Wilson,2017)进行紧缩,由于它的核算成本低且无损。图1概述了团队体系的紧缩宽和紧缩进程。

            2. 紧缩阶段

            运用接到Kinect v2的笔记本,libvpx将五颜六色像素编码为VP8帧,并将深度像素RVL紧缩为RVL帧。履行这一功用时,由于五颜六色像素的分辨率(19201080)较于深度像素(512原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系424)过大,所以五颜六色像素的分辨率在宽度和高度削减一半,特别是关于团队的可视化技能而言(其将每个深度像素与色彩值配对)。两种像素都经过无线网络发送到HoloLens。

            3. 解紧缩阶段

            团队的体系运用FFmpeg解码编码后的五颜六色像素,并将解码后的像素转换为三个8位单通道Direct3D纹路,其间每个纹路都归于YUV的色彩通道。为了防止从YUV420(一种视频流式传输的首要色彩空间,由于它答应在U通道和V通道进行4倍紧缩)转换到高核算量的RGB,团队挑选在YUV色彩空间中创立纹路。别的, 为防止将解码后的像素重新排列为单个纹路,团队运用了三个纹路而女士英文非一个。接下来,用RVL紧缩的像素将解紧缩为16位单通道Direct3D纹路。

            4. 烘托阶段

            凭借YUV纹路和深度纹路,HoloLens可以将深度纹路的每个像素烘托为漂浮在空间上的四边形,并运用YUV纹路中的色彩值对四边形进行上色。团队的烘托技能需求运用由Kinect v2的intri原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系nsic variab原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系le预先核算的网格。在具有深度纹路的极点上色器中,预先核算的网格变成反映深度纹路深度值的一组点。在几许上色器中,所述点变为四边形。四边形的巨细挑选为不影响相邻四边形的最大巨细。最终,在片段上色器中,依据YUV纹路对四边形进行上色。图2是团队的烘托技能示例。

            团队发布体系代码的意图是,支撑我们将其用作AR头显应用程序开发的根底,尤其是长途出现体系。虽然烘托质量远非完美,但团队期望这个体系可以供给一种便携的,支撑现成硬件的经验证办法(无需机器进行烘托),从而为开发者,研讨人员和顾客带来协助。

            相关论文:An Easy-to-use Pipeline for an RGBD Camera and an AR Headset

            图2:烘托技能示例。 左上方和左下方是Kinect v2中的色彩像素和深度像素。右上角是早年视图捕获的烘托场景,右下角是从侧视图捕获的烘托场景。

            5. 源代码

            体系的源代码现已保管至GitHub。

            原原创斯坦福大学提出选用RGBD摄像头的高帧率,低推迟AR头显体系文链接:https://yivian.com/news/67247.html

            请关注微信公众号
            微信二维码
            不容错过
            Powered By Z-BlogPHP