当前位置:主页 > 商贸新闻 >

如何将深度学习应用于无人机图像的目标检测

上传时间:2018-12-03

原标题:如何将深度学习应用于无人机图像的目标检测

本文是由AI Research Institute编写的技术博客。原标题:

如何使用深度学习轻松地对无人机图像进行物体检测

作者| Gaurav Kaila

翻译| zackary,Disillusion,Liu Liu 1126

校对|酱梨整理|菠萝女孩

原始链接:

https://medium.com/nanonets/how-we-flew-a-drone-to-monitor-construction-projects-in-africa-using-deep-learning-b792f5c9c471

如何将深度学习应用于无人机图像的目标检测

本文全面概述了基于深度学习的无人机航拍图像目标检测方法。我们还介绍了一个应用示例:利用无人机监控非洲住房项目的进展情况。

第1部分:我们刚刚发布了Nano Drone API!

你知道2023年无人机及其相关功能将成为500亿美元的产业吗?截至今天,无人机用于农业,建筑,公共安全和安全,但也用于其他领域。使用。通过基于深度学习的计算机视觉“驱动”这些无人机,行业专家预测无人机将在以前难以想象的应用中比以往更广泛地使用。

我们将探讨一些应用程序及其伴随的挑战,这些应用程序基于深度学习以完成基于无人机的自动化监控。

最后,我们将介绍一个使用Nanonets机器学习框架远程监控非洲住房项目的案例。

第一部分:航拍图像——简要背景

人们总是从高处,高耸的建筑,了望塔,堡垒中征服世界,并征服了最高的山峰。为了捕捉这些瞬间并与世界分享,人们尽力用梯子,高楼,风筝,气球,飞机和火箭来挑战重力。

1906年旧金山从风筝的全景(来源:国会图书馆)

今天,即使是普通大众也可以使用可以飞到2公里高度的无人机。这些无人机配备了高分辨率相机,可捕获高质量图像,用于各种分析。

农田的航拍图像

第二部分:无人机及其工业应用

随着无人机的普及,我们已经看到许多摄影师和业余爱好者的日常爱好和活动,他们使用无人机进行一些创意项目,例如捕捉南非的不平等,或射击足以让伍迪艾伦(伍迪艾伦)为此感到自豪纽约奇观。

虽然所有这些看起来都很轻,但500亿美元无人机行业的核心是工业。

在这里我们讨论一两个:

能源:太阳能发电厂的检测

太阳能发电厂的日常检查和维护是一项艰巨的任务。传统的手动检测方法每三个月只能支持一次检测频率。由于恶劣的环境,太阳能电池板可能有缺陷。损坏的太阳能电池板组件会降低功率输出效率

左图:太阳能电池板的原始热图像

右:英特尔自动化系统检测到的缺陷位置和分类

农业:植物早期病害的检测

伦敦帝国理工学院的研究人员在无人机上安装了多光谱相机,这些相机使用特殊的滤光片来捕获来自电磁光谱选定区域的反射光。有病植物通常表现出与健康植物不同的“光谱特征”。

病原体和营养不良病原体的光谱图像

公共安全:鲨鱼侦测

通过对大片土地/水域俯视图的分析,可以获得有关警务和公共安全的大量信息。一个例子是在澳大利亚沿海水域发现鲨鱼。澳大利亚西太平洋集团开发了一种基于深度学习的目标探测系统,用于探测水中的鲨鱼。

此外,还有各种航空影像应用,如土木工程(桥梁日常检查,电线监测和交通调查),石油和天然气(海上石油和天然气平台,钻井设备检查),公共安全(机动车事故,核事故,建筑火灾,船舶碰撞,飞机和火车事故)和安全(交通监控,边境监测,沿海监测,敌对示威和防暴)。

第三部分:获取和处理工业级无人机图像

为了完全捕捉地形和景观,航拍图像的采集过程可分为两个步骤。

摄影测量:为了确保无人机飞行期间的图像重叠,需要定期拍摄几张图像。此步骤对于测量成像对象之间的距离很重要。从广义上讲,这个过程称为摄影测量。对于需要用于数据分析和制图的图像,图像拼接也需要相应的元数据。这些元数据由无人机上的微型计算机自动嵌入。 图像拼接:数据采集完成后,第二步是将单个航拍图像组合成一个有用的地图,通常使用特殊的摄影测量技术将图像快速拼接在一起。这种特定的摄影测量技术被称为从运动信息恢复三维场景结构(Sfm)。 Sfm软件从不同角度比较和匹配同一场景的图像,测量每个图像中对象之间的角度,然后将它们拼接在一起。在该步骤中,可能需要参考图像的地理信息以便将位置信息附加到每个图像。

在完成图像拼接之后,生成的图像可以用在上述各种应用分析中。

第四部分:人工智能遇上无人机

高分辨率航空影像在全球范围内变得越来越普遍,它包含大量信息,可与维护,土地开发,疾病控制,缺陷定位,监测等应用相关联。遗憾的是,这些数据通常是高度非结构化的,因此即使采用密集的手动分析,从大规模提取有意义的见解也具有挑战性。

例如,城市土地的分类通常基于训练有素的专业人员的测量。因此,这项任务是劳动密集型,不经常,缓慢且昂贵。因此,大多数此类数据仅适用于拥有收集和管理数据所需资源和远见的发达城市和大城市。

自动分析航拍图像的另一个动机是预测区域变化的迫切需要。例如,在大型公共集会(例如音乐会,足球比赛,抗议等)中,通常需要人群计数和群众行为。传统上,会有人分析从CCTV摄像机直接传输到指挥中心的图像。正如您可能想象的那样,这种方法存在一些问题,例如人为延迟或检测事件中的错误,以及缺乏足够视图的标准静态闭路电视(CCTV)。

以下是使用航空影像时经常遇到的一些挑战。

航空影像自动化的挑战与限制

在自动分析无人机图像时需要克服几个挑战。其中一些列在下面,

有希望的解决方案是:

对象的抬头和小视图:设计和评估当前的计算机视觉算法和数据集,用于水平拍摄的特写物体照片的以人为中心的实验室设置。对于垂直拍摄的无人机图像,感兴趣的物体相对较小并且特征较少,主要以平面和矩形的形式。例如,从无人机拍摄的建筑物图像仅显示屋顶,而建筑物的地面图像将具有诸如门,窗和墙壁的特征。 数据标记很难:根据上述观点,即使我们可以获得大量图像,我们仍然需要标记它们。这是一项需要精确和准确的手动任务,因为“输入垃圾意味着输出垃圾”。除手动完成外,没有神奇的方法来解决标签问题。在Nanonet,我们提供了一个注释器,可以根据需要标记您的数据。大图像尺寸:无人机图像尺寸很大,在大多数情况下,分辨率超过3000像素X 3000像素。这增加了处理这种图像的计算复杂性。为了克服这个问题,我们将预处理方法应用于航空成像,为我们的模型训练阶段做好准备。这包括以不同的分辨率,角度和姿势裁剪图像,以便我们的训练不受这些变化的影响。 对象重叠:分割图像的一个问题是同一个对象可能出现在两个不同的图像中。这可能导致重复检测和计数错误。另外,在检测过程中,一些彼此非常接近的物体也可能具有重叠的边界。克服此问题的一种方法是通过滑动窗口进行上采样以找到小而密集的物体。 第五部分:Nanonets案例研究:非洲建筑项目远程自动化检视

Pragmatic Master是一家南非机器人即服务公司,与Nanonets合作,远程自动监控非洲的住房建设项目。

由于误报,这些项目经常被推迟和被盗,这可以通过频繁的无人机飞行测绘和录制来解决

我们的目标是通过检测以下基础设施来捕捉不同阶段房屋的建设进度:

基金会(开始) 墙板(进行中) 屋顶(部分完工) 挡土墙 热水器(可移入)

由于Nanonet易于使用的网络平台和即插即用API,Pragmatic Master选择Nanonet作为深度学习的提供者。

使用Nanonet API的端到端流程非常简单,只需要四个步骤。

纳米API的端到端流程

1.上传图片:从无人机拍摄的图片可以直接上传到我们的上传页面。在目前的案例研究中,我们共获得了1,442张低海拔建筑工地的照片。下面将给出上传图像的示例。

2.图像标记:在任何受监督的机器学习过程中,标记图像可能是最困难和最耗时的步骤,但在Nanonets,我们可以为您完成标记。我们拥有多年航空航天成像经验的内部专家。他们将准确,准确地注释您的图像,以便更好地进行模型训练。对于Pragmatic Master用例,我们在所有图像中标记了以下对象及其总计。

屋顶: 2299 热水器: 6556 墙面板: 1043 挡土墙: 8730

标记了热水器的图像

3.模型培训:在Nanonets,我们还使用迁移学习原理训练您的图像。这包括重新训练已经过大量航空成像预训练的模型。这有助于模型更轻松地识别图像上的边缘,线条和轮廓等微图像,并专注于更具体的宏观模式,如房屋,树木,人类和汽车。迁移学习还减少了培训时间,因为该模型不需要大量迭代并且可以很好地执行。

我们专有的深度学习软件巧妙地选择最佳模型,并根据您的使用案例优化超参数。这涉及使用高级搜索算法在多个模型和多维参数之间进行搜索。

最难检测的对象是最小的物体,因为它们的分辨率较低。我们的模型训练策略经过优化,可以检测非常小的物体,例如热水器和挡土墙,只有几个像素的区域。

检测到一个完整的房子

以下是每个班级的平均精确度,

屋顶:95.1%

热水器:88%

墙板:92%

挡土墙:81%

注意:添加更多图像可以提高平均准确度。我们的API还支持检测同一图像中的多个对象,例如在一个图像中检测屋顶和挡土墙。

4.测试和集成:在训练模型后,您可以将Nanonet API直接集成到您的系统中,或者我们还提供包含您已训练的模型和推理代码的镜像。镜像可以轻松扩展,并提供容错推理系统。

在最后一步中,将图像拼接在一起,并使用与每个图像相关联的GIS数据创建整个横向视图。

将预测图像拼接在一起以创建横向视图

第6部分:数据私隐

客户信任是我们的首要任务。我们致力于始终为您提供内容的所有权和控制权。我们提供两个使用我们服务的套餐,

开发人员:您上传的用例图片可供我们预先培训我们的模型,我们可以在其他应用程序中进一步使用它。 企业:您的数据属于您!我们永远不会将您的数据用于任何模型的预训练。

在这两个软件包中,我们与我们的云合作伙伴Amazon Web Services合作,使用高度复杂的数据隐私和安全协议。您的数据集是匿名的,在预处理和培训期间人为干预最少。我们所有人都签署了保密协议(NDA),以保护您的数据不落入坏人之手。因为我们相信“您的数据是您的!”,您可以要求我们在任何阶段从我们的服务器中删除您的数据。

Nanonet是一种Web服务,可以轻松使用深度学习。您可以使用自己的数据构建模型,以获得更高的准确性,并使用我们的API将其集成到您的应用程序中。

欲了解更多详情,请访问:https://nanonets.com/drone

Pragmatic Master是一家南非机器人即服务公司,为建筑,农业和采矿场所的图像提供配备摄像头的无人机。通过分析这些图像,我们能够跟踪进度,识别挑战,消除低效率并提供整体鸟瞰图。

想继续查看本文的链接和参考?

如何将深度学习应用于无人机图像的目标检测]:

https://ai.yanxishe.com/page/TextTranslation/1295

AI研习社每日更新精彩内容,观看更多精彩内容:

在Python中实现遗传算法要查找房间,首先使用Python作为爬虫。看看新手必看:什么是深度学习?它的工作原理是什么? Python高级技巧:使用一行代码将内存使用量减少一半

等你来译:雷锋网雷锋网雷锋网

(Python)3D人脸处理工具face3d如何在大型数据库中使用Dask如何在神经NLP处理中引用语义结构让你的计算机有“视觉”,使用卷积神经网络!