论文地址:Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges
Github:/SensatUrban
一. 简介
提出了一个城市规模的摄影测量点云数据集,其中包含三个英国城市(伯明翰,剑桥以及约克)7.6平方公里中的近30亿具有详细语义标注的点,其中每个点都被标记为13个语义类别。
- 地面(ground)
- 植被(vegetation)
- 建筑物(building)
- 墙(wall)
- 桥梁(bridge)
- 停车场(parking)
- 铁轨(rail)
- 交通路(traffic road)
- 街道设施(street furniture)
- 汽车(car)
- 人行道(footpath)
- 自行车(bike)
- 水(water)
二. 数据采集
2.1 采集过程
通过固定翼无人机采集倾斜(oblique)照片与最低点(nadir)照片,通过rtk对照片位置进行地理对应,通过运动结构法则(SfM)与多视图立体(MVS)进行三维点云重建。
2.2 数据分布
点云数据类别直接分布不平衡是常态(上图这个情况整体分布还是比较平衡的)。
三. 实验结果
3.1 不同模型对比
KP在处理点云方面,基本是效果最好的(约等于图像特征提取方面的卷积对比感知机)。
3.2 数据预处理影响
数据预处理方面,除了数据增强外,点云输入方式影响也比较大。
网格下采样比随机下采样,更加贴合原始点云的密度分布,可以更好的保留原始点云空间特征。
固定数量输入,对模型训练会更加友好(可以批次处理,且更利于训练过程模型优化)。文章虽然不是出于批次考虑的,但可以看出,固定数量输入,可以获得更高的精度。
3.3 额外信息影响(这里主要是rgb信息)
输入可靠的额外信息,可以提供能多的特征,进一步的提高模型精度。
文章中点云数据是图片三维重建得到的,因而rgb信息与点云完美贴合。如果是雷达扫描得到的,需要注意附色精度(附色效果不好,还是不添加rgb效果比较好)。
3.4 损失函数影响




在点云分割中,miou受边界部分点的影响较大。
wce 与 wce + sqrt,本身对于点云分割提升效果有限(具体情况受数据分布影响特别严重)。
lovas本身偏iou损失,最终的对比结果中,精度也最高。
focal 本身可以对难分割类别提升较大(但对数据标注要求较高)。
具体的损失函数选择,还需要具体的工程需求来定。
3.5 泛化能力
深度学习模型的泛化能力决定了模型的实用程度。
泛能能力的强弱,与数据丰富程度、模型提取的特征、以及训练过程等息息相关,可以说深度学习中每个部分都会对模型泛化能力造成影响。
表中可以看出,kp的泛化能力较强,主要是kp提取的特征更为精细。
个别类别的泛化效果弱,主要取决于训练样本的丰富程度(在实际的工程应用中,这部分比模型还重要)。对于样本量较少的类别,可以进行数据增强处理。
3.6 结果展示
文中数据量随然庞大,但是依然不足以支撑城市级别的点云分割。大规模点云分割,最终的难点还是在于特殊情况的处理以及小样本量类别的增强。