DepthAI 3.9.0 正式发布
DepthAI 3.9.0 现已发布,为实验性功能带来了新的归属地,对 RVC2 PoE 设备进行了重要的可靠性改进,改进了 RVC4 上的图像处理与视频编码,新增了深度着色工具,并在平台内进行了一系列修复。
本次发布在底层包含了大量技术改进,其中许多改进都可以归结为简单的内容:更可靠的设备、更灵活的开发体验,以及更便捷地访问新的 DepthAI 功能。
完整的更新日志以及示例链接可在我们的 DepthAI文档页面 找到。
以下是本次更新的内容。
🧪 引入 Beta 功能
DepthAI 3.9.0 引入了一个专门的 Beta 功能区域。
可以把它看作实验性 DepthAI 节点与功能的「中转站」。它让我们能够更快地提供新能力,让开发者在公开 API 完全定型之前就能先行试用。
由于这些功能仍处于 Beta 阶段,其公开 API 可能会在未事先通知的情况下发生变更。
目前已经有不少可用内容:
• 所有 Beta 节点都可以在 RVC4 上原生运行,使用 RVC2 时则可在主机上运行。
• 之前在 depthai_nodes 中提供的所有解析器和独有消息都已迁移过来,现已获得原生支持。
• 所有解析器都通过 config 消息暴露运行时配置变更,这意味着它们的行为可以在应用运行期间进行调整。
• 提供 Python 和 C++ 示例,方便上手。
对开发者而言,这意味着新的 DepthAI 功能能更快地到达你们手中,同时我们也在持续打磨,以形成稳定的公开 API。
📷 更好地控制 RVC4 图像去畸变
DepthAI 3.9.0 还改进了 RVC4 上的图像去畸变。
StereoDepth 节点现在能够在缩放去畸变图像时更恰当地处理 alpha 参数。
简单来说,这让开发者能更好地在裁剪图像与尽可能保留相机原始视场之间进行权衡。
相机输出请求现在接受一个可选的 alphaScaling 值,用于控制这一行为。
🌈 新的深度着色工具
借助新的内置深度着色工具,现在可以更轻松地可视化原始深度信息。
它以下列形式提供:
• C++:dai::utility::colorizeDepthFrame
• Python:dai.utility.colorizeDepthFrame
该工具将深度信息转换为更易于理解的彩色可视化图像。
它支持 ImgFrame 以及 OpenCV 矩阵,开发者可以配置:
• 要可视化的深度范围;
• 色彩映射表;
• 线性或对数缩放。
它还能从一帧中的有效深度像素自动确定有用的可视化边界。
包含无效深度信息的像素可以渲染为黑色,从而更容易区分那些没有有效深度测量值的区域。
🎥 更快的 RVC4 视频编码
本次发布中,RVC4 上的视频编码获得了多项改进。
我们改进了使用以下编码方式处理 4000 × 3000 视频时的延迟:
• H.264
• H.265
• MJPEG
我们还修复了 setKeyframeFrequency 在 RVC4 上失效的问题。该设置现在可以按预期工作了。
⚡ RVC4 480 FPS 模式修复
DepthAI 3.9.0 修复了 3.7.1 中引入的一个回归问题,该问题影响了 RVC4 上的 480 FPS 高帧率模式。
该问题是由于 ImageManip 输出池过小,无法在此高速下可靠地处理帧所导致的。
现在,当可用帧开始不足时,ImageManip 可以自动扩充其输出池。
对于需要更严格地控制内存占用的应用,我们还添加了 setMaxPoolSize,让开发者可以定义输出池所能达到的最大大小。
🔧 更多修复与改进
DepthAI 3.9.0 还包含跨 RVC2、RVC4、图像处理、神经网络解码、深度处理和视频回放的多项额外修复。
RVC2 投影仪功率保护:我们为 结构光和红外照明添加了总功率限制,以防止在使用 RVC2 ToF 63D 传感器时发生功率复位。
SpatialLocationCalculator:在 RVC2 上,当深度输入未对齐时,SpatialLocationCalculator 现在能正确重映射感兴趣区域。
YOLOv6 解码:我们修复了 YOLOv6 和 YOLOv6-R1 的解码问题,包括基于 stride 值重建边界框以及置信度分数的处理。
矫正(Rectification):矫正现在使用其输入帧携带的变换。如果这些变换发生变化,矫正会自动重新初始化,从而继续使用正确的几何关系。
ImageManip 四点变换:我们修复了 ImageManip 四点变换未能正确处理归一化坐标的问题。
ToF 示例:我们修复了飞行时间(Time-of-Flight)示例中的着色闪烁和帧率不一致问题。
ReplayVideo:如果 FFmpeg 无法打开视频,ReplayVideo 现在会报告正确的运行时错误,而不是依赖断言。这让故障更清晰、更易于诊断。
💻 RVC4 Luxonis OS 兼容性
DepthAI 3.9.0 的集成已与以下 Version 版本进行了测试:
• Version 1.27.1
• Version 1.30.1
• Version 1.33.0
📦 安装 DepthAI 3.9.0
准备好试用这个版本了吗?用 pip 安装:
python3 -m pip install depthai==3.9.0
