技术文章

Technical articles

当前位置:首页技术文章最新Nature Methods!微型头戴4π相机,揭开老鹰空中捕猎的秘密

最新Nature Methods!微型头戴4π相机,揭开老鹰空中捕猎的秘密

更新时间:2026-11-18点击次数:7

自然环境中捕捉动物捕猎、追逐等复杂行为的精细动态,一直是动物行为学与神经科学领域具有挑战性的难题。对于猛禽这类依靠视觉完成空中追捕的物种,传统的GPS、惯性测量单元等追踪手段,只能记录宏观位置,无法同步获取头部姿态、猎物相对位置以及视觉层面的光流信息;而实验室多相机动作捕捉系统,又受限于布设范围,难以在开阔野外场景开展观测。

近日,马克斯・普朗克行为神经生物学研究所的研究团队在《Nature Methods》发表题为“Head-mounted camera for reconstructing outdoor behavior in freely flying birds"的研究,研发了一套无束缚头戴式4π全景相机系统,结合无人机高精度环境三维扫描,成功实现了对自由飞行哈里斯鹰空中追捕行为的三维重建与精细量化,为解析动物在真实自然场景下的感知、导航与捕猎策略开辟了全新技术路径。




研究团队设计的这套4π全景相机系统,由一前一后两台广角相机组成,镜头采用等距投影设计,单台相机视场角可达210°,配合传感器限制后有效覆盖190°至210°,两台相机拼接后实现近乎完整的360°环绕视野。整套头部摄像模块仅重6 g,每台相机以1920×1080 分辨率、60 fps记录画面。相机外壳采用摩方精密面投影微立体光刻(PμSL)技术(microArch® S230,精度:2 μm)制备而成。依托该设备微米级的制造能力,实现复杂光学安装结构的精密成型,保证镜头、传感器之间严苛的装配公差。硬件采用磁吸式模块化设计,相机固定在经过改造的训鹰头罩上,电池与存储电路集成于轻量化背包,借助线缆连接,拆装便捷,不会对鸟类造成持续性损伤。镜头采用等距式光学设计,保障全视场内像素分辨率均匀分布,配合ChArUco标定板完成精确标定,双相机以60 Hz帧率同步采集画面,IMU 模块以100 Hz 频率输出加速度、角速度与磁场数据,通过卡尔曼滤波融合多源信号,进一步降低位置解算噪声。


图1. 头戴式4π全景相机系统。



研究团队先在室内大鼠实验中完成了方法验证,将头戴相机解算得到的位置、姿态结果,与六台外部相机组成的高精度动捕系统比对,头部位置平均绝对误差仅4.1 mm,姿态角度平均误差1.1°,充分证明这套全景视觉定位方案具备可靠的精度。随后研究团队将系统推向野外,利用无人机摄影测量技术,对一片坡度草地试验场完成厘米级三维环境建模,从场景中提取树顶、栖架、地面标记等稳定的自然地标,作为视觉定位的基准。在野外飞行实验中,哈里斯鹰被训练在相距30 m的两个栖架之间往返飞行,并在空中拦截抛掷的目标物。得益于4π全景视野,无论猛禽头部如何转动,都能持续捕捉到环境地标,大幅减少地标丢失导致的追踪中断,对比仅使用前向相机,追踪丢失率显著下降。


图2. 4π相机在实验场地中的精确跟踪结果。



在位置与姿态解算上,研究采用两步优化策略:第一步基于地标在相机画面中的观测方向,优化相机位姿,最小化三维方向夹角误差;第二步以第一步结果为初值,进一步优化地标重投影误差,匹配图像像素坐标,同时迭代校正前后相机之间的时间偏移,实现毫秒级的时间同步。单纯依靠视觉三角定位的结果存在一定波动,研究将IMU加速度信号纳入卡尔曼滤波,融合后位置误差降低58%,滤波后野外飞行轨迹的平均位置误差降至20.4 cm,能够稳定还原猛禽完整的飞行路线,甚至记录下鸟类偏离预设路线、飞向场地边缘树木的突发飞行行为。



图3. 4π相机跟踪扩展到大型自然环境。



依托这套系统,研究团队不仅可以重建鸟类自身的运动轨迹,还能够基于单目全景画面,推算环境中目标的空间位置。针对地面静态栖架,通过相机视线向量与三维环境网格求交,即可还原栖架位置,误差在21 cm左右;对于空中飞行的抛射目标,研究引入带空气阻力的弹道模型,利用多帧图像中的目标观测信息,拟合目标运动参数,重构猎物的飞行轨迹,平均误差为34 cm。基于连续全景画面,研究还能够计算视觉光流,直观呈现猛禽飞行过程中视野内环境的运动变化,解析视觉输入如何引导飞行控制。



图4. 4π相机可以精确追踪周围物体的位置。



观测结果揭示了哈里斯鹰在捕猎前后截然不同的头部调控模式:在追击空中目标的阶段,猛禽保持平滑连续的头部转动,持续将猎物稳定保持在视野正前方;而成功捕获目标之后,转向降落栖架的过程中,头部运动切换为一系列扫视式的头眼扫视,快速转动之后维持一段稳定凝视,和大鼠、雪貂等陆生动物的头部调控规律相似。数据分析显示,头部扫视的幅度与峰值角速度呈现很强的线性相关性,说明单次扫视的耗时基本稳定,转向角度越大,转动速度越快;整体转向动作由数量不等的扫视串联而成,转向总角度越大,需要的扫视次数越多,以此逐步把目标栖架调整至视野主轴方向。


图5. 4π相机可以量化光学流量和鹰的行为。



总结:这项技术跳出了传统动物追踪非此即彼的现实局限,研究人员不必在野外布设大量同步高速相机,仅依靠动物搭载的全景相机结合预先完成的环境扫描,便能够同步获取载体位姿、目标相对位置、视觉光流等多维度信息。它不仅适用于猛禽飞行研究,也可以拓展至啮齿类、其他陆生动物的野外行为观测,帮助研究者理解动物如何依靠视觉感知复杂环境、规划运动、和外界目标交互。从长远来看,猛禽这套视觉制导策略,也能够为小型无人机的自主视觉追踪、空中拦截算法提供生物启发。