SensatUrban:城市规模点云语义分割

论文地址:Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges

Github:QingyongHu/SensatUrban

一. 简介

提出了一个城市规模的摄影测量点云数据集,其中包含三个英国城市(伯明翰,剑桥以及约克)7.6平方公里中的近30亿具有详细语义标注的点,其中每个点都被标记为13个语义类别。

  • 地面(ground)
  • 植被(vegetation)
  • 建筑物(building)
  • 墙(wall)
  • 桥梁(bridge)
  • 停车场(parking)
  • 铁轨(rail)
  • 交通路(traffic road)
  • 街道设施(street furniture)
  • 汽车(car)
  • 人行道(footpath)
  • 自行车(bike)
  • 水(water)

二. 数据采集

2.1 采集过程

通过固定翼无人机采集倾斜(oblique)照片与最低点(nadir)照片,通过rtk对照片位置进行地理对应,通过运动结构法则(SfM)与多视图立体(MVS)进行三维点云重建。

2.2 数据分布

点云数据类别直接分布不平衡是常态(上图这个情况整体分布还是比较平衡的)。

三. 实验结果

3.1 不同模型对比

KP在处理点云方面,基本是效果最好的(约等于图像特征提取方面的卷积对比感知机)。

3.2 数据预处理影响

数据预处理方面,除了数据增强外,点云输入方式影响也比较大。

网格下采样比随机下采样,更加贴合原始点云的密度分布,可以更好的保留原始点云空间特征。

固定数量输入,对模型训练会更加友好(可以批次处理,且更利于训练过程模型优化)。文章虽然不是出于批次考虑的,但可以看出,固定数量输入,可以获得更高的精度。

3.3 额外信息影响(这里主要是rgb信息)

输入可靠的额外信息,可以提供能多的特征,进一步的提高模型精度。

文章中点云数据是图片三维重建得到的,因而rgb信息与点云完美贴合。如果是雷达扫描得到的,需要注意附色精度(附色效果不好,还是不添加rgb效果比较好)。

3.4 损失函数影响

在点云分割中,miou受边界部分点的影响较大。

wce 与 wce + sqrt,本身对于点云分割提升效果有限(具体情况受数据分布影响特别严重)。

lovas本身偏iou损失,最终的对比结果中,精度也最高。

focal 本身可以对难分割类别提升较大(但对数据标注要求较高)。

具体的损失函数选择,还需要具体的工程需求来定。

3.5 泛化能力

深度学习模型的泛化能力决定了模型的实用程度。

泛能能力的强弱,与数据丰富程度、模型提取的特征、以及训练过程等息息相关,可以说深度学习中每个部分都会对模型泛化能力造成影响。

表中可以看出,kp的泛化能力较强,主要是kp提取的特征更为精细。

个别类别的泛化效果弱,主要取决于训练样本的丰富程度(在实际的工程应用中,这部分比模型还重要)。对于样本量较少的类别,可以进行数据增强处理。

3.6 结果展示

文中数据量随然庞大,但是依然不足以支撑城市级别的点云分割。大规模点云分割,最终的难点还是在于特殊情况的处理以及小样本量类别的增强。