DepthAI v3.6.1 正式发布

我们很高兴地向大家宣布 DepthAI v3.6.1已经正式发布! 本次更新我们带来了许多新的高质量和性能的提升来完善OAK的软件生态系统。我们着重提升了部署的韧性,将前沿检测模型推向边缘端侧,并大幅度加速了设备端的神经网络的计算。
以下是我们本次发布的三个核心点:自动标定,Yolo26的集成和我们优化的神经网络深度模型。
1. 自动标定现在已被默认启用
机器人和空间智能系统常常面临恶劣的现实世界自然环境挑战,例如温度的变化和连续振动,这很容易导致立体深度校准随着时间产生偏移,为了解决这类问题,我们引入了AutoCalibration(自动标定) 节点。
在DepthAI v3.6.0 以上的版本, AutoCalibration 现已被设置为默认启用(default).
- Zero-Touch Accurancy:它在启用后通过后台运行自动保持立体深度校准,确保高质量的深度精度,无需用户干预。
- Opt-Out Flexibility: 如果您的特定管线需要静态校准,您可以通过设置环境变量 environment variable
DEPTHAI_AUTOCALIBRATION=OFF. 轻松禁用/启用此功能。
2. 神经网络深度FPS极大提升
深度感知是空间智能的核心,但传统的经典算法可能难以处理无纹理的表平面,例如白色墙壁或极端的光源环境。OAK 神经网络立体深度 solves 通过学习 robust feature correspondence 和cost aggregation 来解决这个问题,从而完全在设备上计算、提供高度精确、无幻觉的深度。
在这个版本中, 我们对NeuralDepth的模型进行了大量优化,以大幅提升FPS,而不需要额外部署桌面级GPU来计算。
LARGE (768×480): 由10 FPS 增强至 22 FPS.
MEDIUM (576×360): 由26 FPS 增强至 38 FPS.
SMALL (480×300): 由 42 FPS 增强至 56 FPS.
NANO (384×240): 由 60 FPS 增强至 85 FPS.
我们还新增了4款全新的高分辨率 XL 神经网络深度模型 :
1248×780 at 8.5 FPS
1056×660 at 12.5 FPS
960×600 at 14 FPS
864×540 at 18 FPS
3. YOLO26的原生支持
DepthAI v3.6.0 在DetectionParser中正式添加了对 YOLO26 的支持。Ultralytics YOLO26在2026年初正式发布,是专为边缘计算和低功耗设备所设计的样式变体。
NMS-Free Inference: YOLO26 具有本机端到端架构,完全消除了对Non-Maximum Suppression (NMS)后处理的需求。这简化了部署流程,并极大降低了延迟。 that completely eliminates the need for Non-Maximum Suppression (NMS) post-processing。
Edge-Optimized Design: 通过移除分布焦损 (DFL) 模块, YOLO26简化了网络的导出图,使其非常轻便,对于CPU受限和边缘AI应用程序,速度提升了43%。
Advanced Convergence: 他利用全新的 MuSGD 优化器 — 受到大模型训练突破的SGD和Muon 混合 — 实现高度稳定和快速的模型收敛。
其他显著功能 & 提升
图像传感器 & IMU更新
Unified IMU Outputs: 我们同意了所有传感器的IMU输出。每个传感器现在都支持原生RAW, UNCALIBRATED, and CALIBRATED.格式(注意:
RAW 现在总是直接从IMU捕获,无需预旋转。使用 UNCALIBRATED t保留传统坐标系行为)
RVC4 Camera Syncing: 添加了对RVC4上相机同步的精确时间协议(PTP) 支持(目前仅对 IMX586 和 OG05 图像传感器支持).
Smart Auto-Selection: 如果全分辨率不能满足您的输出要求,DepthAI现在会自动回退到裁剪的传感器配置。.它还会自动将不可同步的摄像头切换到自由运行模式。 (注意:正确跟踪裁剪配置的内部函数需要RVC4上的Luxonis OS 1.31或更高版本)。
管线 & 录制实用程序
Holistic Record & Replay: 我们大大改进了流媒体录制。现在, 您可以记录设备校准、模拟硬件功能,如(device.getConnectedCameraFeatures()),并利用自动同步实现高度稳定的播放。现在,回放就如同设置 DEPTHAI_REPLAY={path} 环境变量一样简单。
Extrinsics Tracking: 跟踪发送到索引最低的相机插槽 (e.g., CAM_A), 的每条消息中的旋转和平移,并与新的实用程序配对,以重新映射/投影图像之间的点。
New PointCloud Node: 我们添加了一个支持选择子弟工艺坐标系的专用 PointCloud 节点。
ObjectTracker Upgrades: 添加了可选的3D关联,并直接向 dai.Tracklet. 公开了新的 velocity 属性。
Embedded Visualizer 2.3.3: 具有更好的管线调试窗格、UI修复和改进的连接稳定性。
RVC2 & RVC4 属性
StereoDepth Alignment: 添加了 LEFT 和 RIGHT 对齐, 正确地遵循 RECTIFIED_LEFT 和 RECTIFIED_RIGHT 在RVC4上的状态
Host-Side Processing: 如果模型包含分段掩码,DetectionParser 现在会自动切换到在RVC2中的主机上运行。我们还添加了对MessageDemux在主机上运行的支持。
IMX380 Support: 现已经在RVC2上新增原生支持。
(注: RVC4 的集成,在 Luxonis OS 1.20.5, 1.27.1, 和 1.30.1上我们进行了大量测试)
Get Started
您可以通过以下命令升级到最新的 DepthAI 版本:
python3 -m pip install depthai==3.6.1
有关涵盖新PointCloud节点、Extrinsics tracking和PTP同步的完整C++和Python示例,请查看我们在GitHub的官方发布说明!
