输电杆塔点云快速语义分割与实例分割。
演示视频在PSAT中集成了地面提取与杆塔点云分割，演示软件与算法运行环境均为python，实际应用中单塔点云分割速度在1s左右。
（点击图片观看演示视频）
方案设计，模型研发、训练与优化
一. 输电线路杆塔点云部件语义分割与实例分割
为满足输电杆塔精细化巡检任务需求，实现输电杆塔精细化巡检自动航迹规划，使用深度学习对输电杆塔点云进行语义分割与实例分割。
数据集
对采集的输电杆塔点云数据进行抽样，统一每基输电杆塔包含的点云数量，将所有杆塔等比拉伸到同一高度。
数据增强
采用随机旋转、随机震荡、随机拉伸，在训练过程中进一步丰富训练样本。
模型结构
模型每层的采样半径、采样数与模型深度等均依照输电杆塔点云数据特征进行重新调整。
不平衡处理
针对每基杆塔中各类别严重不平衡问题，采用focal loss损失函数，使小部件也可以得到充分训练。
方案设计，模型研发、训练与优化
二. 配网设备与缺陷目标检测
简单的深度学习目标检测任务，识别配网巡检图片中设备与缺陷。包含了变压器、刀闸、熔断器、避雷器、绝缘子等设备以及变压器漏油渗油、导线破损、缺销钉等缺陷。
多尺寸
将尺寸大小悬殊的目标，分别不同模型进行检测；重新规划模型检测框大小，扩大参与训练的正例，提高检测精度。
小目标
针对缺销钉等小目标物体，采用裁剪的方式，在检测时保留更多的图像特征，提高检测精度。
多模型
综合考虑了检测精度、检测效率、维护难度，采用多模型进行检测。不同模型，负责不同的检测任务。
多线程
采用多线程进行检测，最大化占用显卡显存，提高显卡利用率，加快检测效果。
算法研发与优化
三. 配网照片导线提取
从无人机俯拍图片中，提取导线并计算导线方向，为无人机自动巡线提供参考。
线段检测
运用直线检测算法，快速提取当前图片中的直线段。
剔除杂线段
计算直线向量，合并同方向直线。统计各向量总长度，剔除杂线段。
合并直线段
对同方向的直线段进行距离计算，合并小于阈值的短直线段为长直线段。
导线提取
通过预设逻辑，剔除干扰直线段，得到导线，计算导线方向。
（点击图片查看原图）
算法原型研发与优化
四. 输电线路档间点云数据杆塔提取
为满足输电杆塔精细化巡检任务需求，实现档间输电杆塔自动提取，通过空间几何算法完成档间点云中输电杆塔的自动定位与提取。（该 算法对地形起伏不敏感，可满足各类地形的输电杆塔区域定位。）
计算高差
首先将档间点云划分区域，以1mx1m的方块为例，对各区域内点云按z轴高度进行排序，依次计算两两之间距离，取区域内最大距离为该区域高差。
剔除两侧干扰
将高差值进行统计，取高差值较大的区域为精细档间建议区域；通过直线拟合这些区域，划分精细档间，删除其他区域。该步骤可剔除点云中档间两侧较高树木与建筑，并减小点云规模。
去除地面与植被
以划分的区域中z轴最低点作为默认地面值，删除地面值往上20m的点云。
提取杆塔
计算剩余点云密度，结合精细化档间区域中线，得到杆塔区域。
软件设计与开发
五. 配网缺陷标注工具
按照电科院配网缺陷编码与标注标准，设计的专用于配网缺陷标注工具。
更加流畅的标注体验
通过滚轮缩放图片，左键拖拽图片位置；快捷键开始标注并进行保存；双击标注框或标注列表，进行修改；通过输入图片名或序号，快速跳转指定图片。
缺陷类别
严格按照电科院配网缺陷编码v1.0.0设计；通过修改配置文件，修改类别，方便后续更新。
标注文件
最终标注结果使用json进行存储。存储格式与电科院缺陷标注样本保持一致
（点击图片查看原图）
真实照片
生成的假的锈蚀样本
真实照片
生成的假的锈蚀样本
方案设计，模型研发、训练与优化
六. 配网缺陷样本模拟
使用生成对抗网络，生成配网缺陷样本。
左侧示例中，将锈蚀缺陷，迁移到无锈蚀照片中，生成假的横担锈蚀样本。
训练数据无需对称
只需同时收集有缺陷与无缺陷样本，作为训练数据，对数据无其他要求。
风格迁移
模型通过训练，学习两组样本风格之间的差异，而不是像素级别的对比。
缺点
迁移更注重纹理方面的变化，对于形态变化，效果不佳。
对于数据风格要求较高。
算法研发与优化
七. 光伏组件视觉计算
分析无人机高空采集的光伏照片，计算光伏组件所占像素大小。
结合组件实际大小，可满足航线纠偏等任务；搭配rtk也可满足设备定位、缺陷定位等任务。
直线检测
通过直线检测算法，初步获取图片中直线段。
线段筛选
通过添加限制条件，精细筛选直线段。
合并直线端
计算直线段之间距离，合并临近直线段。
计算组件大小
进一步分析并剔除干扰线段，计算获得组件所占像素值。
模拟绝缘子的污秽 以及破损情况
算法研发
八. 配网缺陷数据生成
针对配网缺陷样本少的问题，使用stable diffusion图生图的方式，生成对应缺陷样本。
训练配网缺陷lora
收集配网缺陷样本，并训练对应缺陷lora模型。、左图所用lora是在100张绝缘子破损样本上训练得到。
CONTROLNET进行重绘
使用segment anything快速生成绝缘子遮罩。使用controlnet进行精准局部重绘。
COMFYUI工作流
使用Comfyui设计并验证配网缺陷样本生成工作流
尝试对比了不同手段的重绘效果，其中ControlNet重绘效果最佳。
算法研发
九. 裂缝分割
地面裂缝分割。
图像分割
使用图像分割算法，识别并分割图片中的裂缝。
局部检测
由于裂缝较细小，且无人机拍摄图片分辨率较大。分割图片时，分块局部进行裂缝识别。
全局拼接
对识别的多条裂缝、重复区域裂缝进行整理，并将局部裂缝进行全局拼接。
PSAT点云分割标注工具
实现十万级别点云流畅标注,百万级别点云流畅可视化；支持同时标注语义分割与实例分割
ISAT图像分割标注工具
超级好用的图像分割标注工具。简捷的快捷键支持、图层调整遮挡、json格式标注文件，支持导出单通道标签图片。
ISAT with segment anything
集成segment anything的ISAT。通过鼠标左(右)键点击感兴趣(不感兴趣)区域，快速实现图像分割标注，同时支持语义分割与实例分割标注。
IDAT图像检测标注工具
图像识别标注工具，优化了标注操作。较labelimg拥有更佳的标注体验。