盯着任何房间的空白墙,你不可能学到比油漆颜色更多的东西。但是一个 新技术 可以不显眼地扫描同一个表面,寻找人眼无法察觉的阴影和反射,然后分析它们以确定细节,包括房间里有多少人——以及他们在做什么。这个 可用于间谍 在拐角处进行活动时,从空间的局部视图中了解更多信息或观看某人避开相机的视线。

当人们在房间里走动时,他们的身体会阻挡一部分可用的光线,从而在墙壁上产生微妙而模糊的“柔和阴影”。颜色鲜艳的衣服可以投射出暗淡的反射光。但是这些微弱的信号通常会被来自主要光源的环境光淹没。麻省理工学院的研究生 Prafull Sharma 说:“如果我们能做一些事情,比如从我们观察到的任何东西中减去这个环境项,那么你只会留下相机噪声和信号。”夏尔马和其他麻省理工学院研究人员通过拍摄房间内的墙壁,因为它的居住者四处走动并随着时间的推移平均帧,从而隔离了该环境术语。这消除了人类投射的不断变化的阴影,只留下来自主光源的光,加上来自家具或其他静止物体的阴影。然后研究人员从视频中实时删除了这个词,显示了墙上移动的阴影。

接下来,Sharma 的团队在另外几个房间中记录了空白墙,研究人员在这些房间中制定了各种场景和活动。一两个人成群结队地在镜头视野之外四处走动。其他人蹲下、跳跃或挥舞手臂。然后该团队将视频输入到机器学习模型中,教它哪些软阴影模式指示哪些行为。由此产生的系统可以实时自动分析任何房间中空白墙的镜头,确定人数及其行为。工作是 接受口头报告 在 10 月举行的 2021 年计算机视觉国际会议上。

尽管该系统无需校准即可在任何房间内运行,但在昏暗的灯光下或存在闪烁光源(如电视)的情况下,它的性能会很差。它只能记录经过训练的群体规模和活动,并且需要高分辨率相机;标准数码相机会产生过多的背景噪音,而智能手机的相机效果很差。

尽管存在局限性,但该方法强调了成像和机器学习如何将难以察觉的指标转化为监视。 “这种低强度信号可用于预测信息,这是一项非常酷的科学发现,”夏尔马说。 “当然,正如我们所确定的,肉眼根本无法做到这一点。”

一堵白墙远不是第一个可以揭示周围环境秘密的看似无辜的项目。 “一般来说,这些被称为旁道攻击或旁道监视,”促进数字权利的非营利性电子前沿基金会的技术专家 Bennett Cyphers 说。 “当你使用的信息来源不是你正在寻找的直接信息来源时——这可能超出了正常收集信息的方式——来学习你似乎无法做到的事情。 ”

侧信道攻击可以利用一些非常不起眼的输入。去年研究人员使用了各种闪亮物体的反射——包括一袋薯片——重建周围房间的图像。声音和其他振动也可以产生大量间接信息。例如,一个人的音频 在电脑上打字 可以显示正在写的单词。计算机本身也可以充当麦克风:在 2019 年的一项研究中,研究人员开发了一种软件,可以检测和分析环境声波如何在硬盘驱动器的磁盘上晃动,从而可以有效地 记录对话 发生在机器附近。科学家们还开发了基于地板的传感器,能够 检测脚步声,辨别个人的身份,甚至诊断他们患有某些疾病。大多数这些技术依赖于机器学习来检测人类智能无法检测的模式。随着高分辨率视听记录和计算能力变得越来越广泛,研究人员可以训练具有许多不同输入的系统,以从经常被忽视的线索中收集信息。

至少到目前为止,监视潜力似乎并没有让许多隐私倡导者彻夜难眠。斯坦福互联网天文台的研究学者 Riana Pfefferkorn 说:“这种空白墙攻击以及其他类似的复杂侧信道攻击,对于普通人来说根本不应该担心。” “它们是学术研究人员的很酷的技巧,距离执法部门的实施还有很长的路要走。”日常使用“在未来很遥远,如果有的话——即便如此,警察仍然不能擅自闯入你的财产并将相机贴在你的窗户上。” Cyphers 表示同意。 “每个人都携带智能手机,很多人家里都有智能扬声器,他们的汽车连接到互联网,”他指出。 “公司和政府通常不必求助于诸如空白墙的镜头之类的东西来收集他们想要的信息。”

尽管侧信道方法目前不太可能针对普通人,但它们最终可能会进入现实世界的应用程序。 “军事和情报机构一直对他们可以接触到的任何类型的监视都有特定用途,”赛弗斯说。 Sharma 同意这种用途是可能的,但他也提出了一些更无害的用途:例如,车辆可以扫描空白墙壁,作为自动行人检测系统的一部分,用于视线不佳的区域,例如停车场。一些探索侧通道技术的研究人员表示,它们可用于监测老年人并检测跌倒或其他问题。

Sharma 说他自己的系统将能够检测跌倒——如果他收集了样本来训练它。但是,他打趣道,“我拒绝在大约 20 个不同的房间里收集数据。”