CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.Tracking Everything Everywhere All at Once
标题：一次跟踪所有地方的一切
作者：Qianqian Wang, Yen-Yu Chang, Ruojin Cai, Zhengqi Li, Bharath Hariharan, Aleksander Holynski, Noah Snavely
文章链接：https://arxiv.org/abs/2306.05422
项目代码：https://omnimotion.github.io/
摘要：
我们提出了一种新的测试时间优化方法，用于从视频序列中估计密集和远程运动。先前的光流或粒子视频跟踪算法通常在有限的时间窗口内运行，难以通过遮挡进行跟踪并保持估计运动轨迹的全局一致性。我们提出了一个完整且全局一致的运动表示，称为 OmniMotion，它允许对视频中的每个像素进行准确、完整的运动估计。OmniMotion 使用准 3D 标准体积表示视频，并通过局部空间和标准空间之间的双射执行逐像素跟踪。这种表示使我们能够确保全局一致性，通过遮挡进行跟踪，并对相机和物体运动的任何组合进行建模。对 TAP-Vid 基准和真实世界镜头的广泛评估表明，我们的方法在数量和质量上都大大优于现有的最先进方法。查看我们的项目页面以获得更多结果：这个 http URL
2.Sub-Meter Tree Height Mapping of California using Aerial Images and LiDAR-Informed U-Net Model
标题：使用航拍图像和 LiDAR 信息 U-Net 模型绘制加利福尼亚亚米级树高图
作者：Fabien H Wagner, Sophia Roberts, Alison L Ritz, Griffin Carter, Ricardo Dalagnol, Samuel Favrichon, Mayumi CM Hirye, Martin Brandt, Philipe Ciais, Sassan Saatchi
文章链接：https://arxiv.org/abs/2306.01936
摘要：
树冠高度是森林生物量、生产力和物种多样性的最重要指标之一，但从地面和太空准确测量具有挑战性。在这里，我们使用适用于回归的 U-Net 模型，使用来自 USDA-NAIP 程序的高分辨率航拍图像（60 厘米）绘制加利福尼亚州所有树木的树冠高度。U-Net 模型使用从空中 LiDAR 数据计算出的冠层高度模型作为参考，以及 2020 年收集的相应 RGB-NIR NAIP 图像进行训练。我们使用 42 个独立的 1 公里 2 评估了深度学习模型的性能加利福尼亚州各种森林类型和景观变化的地点。我们对树高的预测显示出 2.9 m 的平均误差，并且在加利福尼亚州存在的整个树高范围内显示出相对较低的系统偏差。2020 年，高度超过 5 m 的树木覆盖了约 19.3% 的加利福尼亚州。我们的模型成功地估计了高达 50 m 的冠层高度而没有饱和，优于全球模型中现有的冠层高度产品。我们使用的方法允许重建从天底光学机载图像观察到的单个树木的三维结构，这表明即使在存在图像失真的情况下也具有相对稳健的估计和映射能力。这些发现证明了使用 NAIP 图像对树高进行大规模测绘和监测以及潜在生物量估算的潜力。
3.Don't trust your eyes: on the (un)reliability of feature visualizations
标题：不要相信你的眼睛：特征可视化的（不）可靠性
作者：Robert Geirhos, Roland S. Zimmermann, Blair Bilodeau, Wieland Brendel, Been Kim
文章链接：https://arxiv.org/abs/2306.04719
摘要：
神经网络如何从像素中提取模式？特征可视化试图通过优化可视化高度激活的模式来回答这个重要问题。今天，可视化方法构成了我们对神经网络内部运作的知识基础，作为一种机械可解释性。这里我们要问：特征可视化有多可靠？我们通过开发网络电路来开始我们的调查，这些网络电路可以欺骗特征可视化来显示与自然输入的正常网络行为完全脱节的任意模式。然后，我们为标准的、未操纵的网络中发生的类似现象提供证据：特征可视化的处理方式与标准输入的处理方式截然不同，这让人怀疑它们“解释”神经网络如何处理自然图像的能力。我们通过理论证明这一实证发现可以通过特征可视化可靠地理解的函数集非常小，并且不包括一般的黑盒神经网络。因此，一个有前途的前进方向可能是开发强制执行某些结构的网络，以确保更可靠的特征可视化。
更多Ai资讯：公主号AiCharm