相机可以观察角落周围的移动物体

斯坦福大学(Stanford University)电气工程专业的研究生大卫林德尔(David Lindell)穿上了一件高能见度运动服，开始工作，伸展，踱步，跳过空荡荡的房间。通过远离林德尔的相机 - 看似空白的墙 - 他的同事们可以看到他的一举一动。

这是因为肉眼隐藏着，他被高功率激光扫描，他反射到他周围墙壁上的单个光粒子被摄像机的先进传感器和处理算法捕获并重建。

斯坦福大学电气工程助理教授戈登韦茨坦说：“人们谈论的是建造一个可以看到人类以及自动驾驶汽车和机器人等应用的摄像机，但我们希望建立远远超出这个系统的系统。”“我们希望看到3D，周围和可见光谱以外的东西。”

研究人员在8月1日举行的SIGGRAPH 2019会议上展示了Lindell测试的摄像系统，该系统建立在该团队开发的以前的角落摄影机上。它能够从更多种类的表面捕获更多的光线，看得越来越远，并且足够快，足以监控视线移动 - 例如Lindell的健美操 - 这是第一次。有一天，研究人员希望超人视觉系统可以帮助自动驾驶汽车和机器人比人工引导更安全地运行。

实用性和地震学

保持系统的实用性是这些研究人员的首要任务。他们选择的硬件，扫描和图像处理速度以及成像风格在自动汽车视觉系统中已经很常见。用于观察相机视线外部场景的先前系统依赖于均匀或强烈反射光的物体。但是现实世界的物体，包括闪亮的汽车，都不属于这些类别，所以这个系统可以处理从一系列表面反射的光线，包括迪斯科球，书籍和错综复杂的纹理雕像。

他们前进的核心是激光比一年前使用的激光强10,000倍。激光扫描与感兴趣场景相对的墙壁，光线从墙壁反弹，撞击场景中的物体，反弹回墙壁和相机传感器。当激光到达摄像机时，只剩下斑点，但传感器捕获每一个斑点，将其发送到一个高效的算法，该算法也由该团队开发，解开这些光的回声来破译隐藏的画面。

“当你看着激光扫描它时，你看不到任何东西，”林德尔描述道。“有了这个硬件，我们基本上可以减慢时间并显示这些光线。它几乎看起来像魔术。”

系统可以每秒四帧扫描。它可以在具有图形处理单元的计算机上以每秒60帧的速度重建场景，这增强了图形处理能力。

为了推进他们的算法，该团队寻求其他领域的灵感。研究人员特别关注地震成像系统 - 它将声波从地球的地下层反弹，以了解地表下面的东西 - 并重新配置他们的算法，同样将弹跳光解释为隐藏物体发出的波。结果是同样的高速和低内存使用率，并且他们能够看到包含各种材料的大型场景的能力有所提高。

“有许多想法被用于其他空间 - 地震学，卫星成像，合成孔径雷达 - 适用于四处看看，”卡内基梅隆大学助理教授Matthew O'Toole说，他以前是博士后Wetzstein实验室的同事。“我们试图从这些领域中稍微采取一些措施，我们希望能够在某些时候回馈他们。”

谦卑的步骤

能够看到角落周围反射的不可见光的实时运动对于这支车队来说是一个激动人心的时刻，但是自动驾驶汽车或机器人的实用系统将需要进一步的改进。

“这是非常简陋的步骤。这种运动看起来仍然是低分辨率，而且速度不是超快，但与去年的最新技术相比，它是一项重大改进，”Wetzstein说。“我们第一次看到这些结果时就被吹走了，因为我们已经捕获了之前没人见过的数据。”

该团队希望在自动研究汽车上测试他们的系统，同时研究其他可能的应用，例如可以透过组织看到的医学成像。除了速度和分辨率的其他改进之外，他们还将致力于使他们的系统更加通用，以应对驾驶员遇到的具有挑战性的视觉条件，例如雾，雨，沙尘暴和雪。