在自然界中,果蝇(Drosophila)经过数百万年进化,拥有了一套"光学+肌肉+神经"三级协同的视觉系统:复眼负责全景感知,头部肌肉在暗光下主动弯曲以持续锁定目标,神经回路则把动态视觉信号实时重建为场景。这套机制让果蝇能以极低的硬件成本实现远超人类眼睛的视野覆盖和动态响应——也正是下一代可穿戴视觉、混合现实(MR)、机器视觉梦寐以求的蓝图。遗憾的是,过去十余年间,人工复眼(ACE)的研究大多止步于对自然复眼(NCE)光学结构的仿制。而果蝇视觉的精妙之处,在于其“光学感知—运动调控—神经处理”的三级协同机制。其中,依靠头颈肌肉主动弯曲以扩展视野、锁定目标,以及经由 lamina–medulla–lobula 神经通路重建场景这两级核心机制,在典型ACE架构中长期缺位。由于结构固化导致“转头”机制的缺失,加之果蝇神经机制近年才逐步明晰,ACE始终难以真正跑通混合现实(MR)的应用闭环。
近日,香港理工大学张需明教授(通讯作者)、姜衡博士(第一作者)团队在《Nature Communications》国际期刊上在线发表题为"Flexible artificial compound eye cameras for ultrawide continuous tracking in mixed reality" 的原创性论著。
该研究提出并实现了一种柔性人工复眼相机(FACEcam),把果蝇视觉的"三级协同"完整搬到了硬件上:
·第一级—复眼光学|解决“光路僵局”
将159根带法兰塑料光纤穿入精密3D打印穹顶,法兰端对准曲面前端微透镜阵列,一对一模拟果蝇小眼(ommatidium)的"角膜–晶锥–感杆"光路,构建仿生小眼阵列。该设计在团队基于光纤全内反射特性工作的基础上(H. Jiang et al., Light: Science & Applications 13, 256, 2024),进一步利用塑料光纤的柔性及曲面微透镜阵列的制备,实现了“曲面接收—平面成像”的无损传输。
·第二级—肌肉运动|突破“半球视场”的物理极限
首次引入两根系绳(Tethers)模拟果蝇颈部肌肉,赋予复眼主动弯曲能力。这是典型ACE最大的痛点——结构固定,视场角被锁死,弱光下目标无法累计信号增强。而FACEcam通过主动弯曲±45°,将有效视场角一举拓展至270°,同时通过在弱光下追踪目标可实现目标信号增强。这是团队在之前飞蛾仿生弱光增强技术之后的又一种弱光增强技术探索(H. Jiang et al., Science Advances, 11 eady2069, 2025)。
· 第三级—神经处理|打通“物理—虚拟”的实时链路
创新性地对齐果蝇视觉通路的Lamina→Medulla→Lobula层级,在最高达7,000 fps感知速度的基础上,构建专用CNN架构。这不仅是对生物神经信号的模仿,更是为了弥补硬件限制:算法分类与映射光纤传来的信号,真正实现了混合现实场景的高速重构。
器件加工里的"微纳3D打印"角色
FACEcam 里几个关键异形件——直径 12.6 mm 的穿孔穹顶、平面集束盘、孔径光阑、轭架外壳——都是采用887700葡京线路检测主页精密面投影微立体光刻(PμSL)技术( nanoArch® S140,精度:10 μm) 打印制备完成。黑色光敏树脂直接成型既能保证亚毫米级孔位精度,又能吸杂散光,省掉后续涂黑工序;法兰光纤一根根穿进 159 孔穹顶后,法兰端面贴死球壳外表面,并对准相应的微透镜,保证了光纤与微透镜光轴指向一致性。

柔性人工复眼相机的关键部件及原理
性能验证
团队围绕"超广角感知—暗光追踪—MR重构"主线,对FACEcam进行了系统性验证。首先是全景成像能力。如图3所示,得益于光纤阵列与微透镜的精密耦合,FACEcam在静态下即可实现约180°的高质量全景成像;而当引入主动弯曲机制后,系统有效视场角被拓展至270°。通过解析点扩散函数,系统还能估算目标距离,赋予了复眼“感知深度”的能力。
其次是暗光下的主动追踪。如图4所示,当环境照度低至0.1 lux时,传统固定复眼难以捕捉的目标,FACEcam通过模拟果蝇“扭脖子”的动作,将目标锁定在同一像素区域进行多帧叠加,显著提升了信号,实现了弱光环境下的稳定追踪。
最后是MR场景的高速重构。如图5所示,佩戴FACEcam的受试者头部不动,仅靠复眼主动弯曲,即可将视场拓展至270°,成功捕捉到视野边缘的目标。结合仿生CNN算法,系统以毫秒级延迟将物理世界的目标映射为虚拟影像,实现了虚实世界的无缝交互。
从果蝇的视觉奥秘到混合现实的落地实践,这项研究完成了一次真正意义上的“全栈仿生”。FACEcam 并未止步于静态光学结构的模仿,而是通过159通道光纤阵列与曲面微透镜阵列的精密耦合,构建了仿生复眼;更突破性地将“主动弯曲”的机械机制引入人工复眼,使其拥有了类似生物的“脖颈”,得以在暗光下主动追踪增强信号,并将视场动态拓展至270°。在此基础上,团队对齐果蝇视觉通路的专用仿生卷积神经网络,实现了从物理信号到虚拟空间的毫秒级映射。这种“曲面复眼+主动追踪+神经算法”的深度协同,不仅填补了典型ACE在运动控制与神经处理层面的空白,更为下一代可穿戴MR设备、仿生机器人提供了一个兼具广阔视野与“生物直觉”的视觉新范式。
原文链接:https://doi.org/10.1038/s41467-026-74635-3