天枢（Learth）第一讲：样本库制作

如果说20世纪最重要的资源是石油，那么毫无疑问在21世纪“数据”将会取代石油的地位成为新时代的“宠儿”。当然，这里的数据并不是普通意义上的数据，而是指经过处理、组织之后的数据，因为只有这样它才拥有了价值。随着近几年计算机硬件的快速发展以及深度学习算法的日趋成熟，遥感技术与AI（Artificial Intelligence）技术的结合已呈必然之势，这也将会为测绘行业带来新一轮的变革。因此如何将手里的遥感数据转换为AI技术可使用的样本（建立样本库）是每一个测绘单位都要面临的问题。

1、遥感中的深度学习

在真正了解如何制作样本之前，我们需要先了解一些深度学习的基础知识，搞清楚一些专有名词，这样我们才能知其然并知其所以然。在计算机视觉中，我们常常会听到这几个名词，如图片分类、目标检测、语义分割以及实例分割等等。那么他们到底是什么呢？

简单来讲，图片分类是指将某一个图片进行分门别类，更准确的说就是将图片中的主体给识别出来，举个例子就是“这个图片里有个建筑物”，所以这个图片属于建筑物那一类。不过仅仅知道“这个图片里有个建筑物”其实并没有什么实际意义，因为我们除了关心一个物体的类别之外，更关心物体的位置，因此目标检测就是不仅可以将某一个图片中我们感兴趣的单个或多个物体给识别出来，而且还可以使用矩形框（Bounding Box）将物体的大致位置给标出来。但是很容易发现目标识别也有它的问题，那就是仅仅只用一个矩形框来表示一个物体的边界太粗糙了，因此语义分割就派上用场了，如果说前两者更关注于图片中的物体对象类别，那么语义分割则更关注于每个像素的类别，它可以将图片中每个像素分类到对应的类别上，这样就自然而然的可以得到更为精细的边界。到了这里我们可以停下来思考一下，语义分割真的就完美了吗？答案自然是否定的。因为语义分割只能识别某一类物体的类别，但无法区分同一类物体，举个例子就是假设一个图片中有两个建筑物，那么语义分割会怎么做呢，它会帮你把属于建筑物的像素给标出来，但是这中间会让人感觉缺少了一些东西，缺少了什么呢？其实就是“数量”，因为语义分割无法将同一类物体给区分开来，也就是说它无法将两个建筑物分为建筑物A和建筑物B，所以实例分割也就出现了，它可以将图像中的每个物体给识别出来并进行编号。

到这里我们可以简单总结一下，图像分类关注的是“类别”，目标检测和语义分割关注的是“类别+位置”，实例分割关注的是“类别+位置+数量”，记住这几个关键词，我们的样本制作过程也将围绕着它们而展开。

2、遥感数据样本制作

如果说你真正了解了上述所说的内容，那么这一部分你即使不看也可以自己制作出样本数据，但正所谓“形而上学谓之道，形而下学谓之器，舍器而近道者几稀”，所以这里还是以遥感中最常用的语义分割与实例分割为例来了解样本制作的整个流程。

2.1 语义分割样本制作

1）遥感影像预处理。我们不可能拿一幅本身与实际地物就有很大偏差的影像去做样本，所以影像的预处理工作是必不可少的一步，如辐射定标、大气校正以及几何校正等等，更多内容可以参看这篇文章“教程 | 遥感图像处理流程”

2）样本标注。在深度学习神经网络模型的设计和训练中，数据的标注质量会直接影像到模型的最终效果，所以在样本的标注过程中一定要严格遵守几点通用原则：

规则先行：根据业务场景需求，明确标注规则，保证规则统一可区分，即严格遵守遥感影像地类标注原则和经验，同一种类别标签在影像上的定义不可摸棱两可。

最大最小：标注框在框选目标区域时，要尽量大，大到能够包含目标区域的主要边界；要尽量小，小到除了目标区域边界以外，不包含其他无关区域。框与标注目标的边缘基本呈外接关系。冗余标注会对模型的特征提取、标注框回归等造成较大扰动，从而使模型的检测结果不精确。

标签完整性：用作训练的数据集如明确出现判定规则内的地物或变化地物，均需要标注出来，严格避免遗漏或错标情况。

所标即所见：标注过程中，不要添加主观想象力和先验知识，只标注从视觉上看到确定是目标的部分。不要对有遮挡或只有一面无法确定的地物横加想象进行标注，更不可利用外业数据或其他影像来辅助判断。可人为单独定义一类，来囊括规则之外的地类或场景，比如云层、雾气、阴影、曝光区等等。

在满足上述原则下，我们以一个小范围影像为例来构建遥感数据样本库，如下图所示：

3）根据标注对遥感影像进行切片并生成标签。在保证标注和影像套和的前提下，我们选择一个切片工具来对影像进行切片，这类软件有很多，如Labelme、Arcgis Pro等等，以Arcgis Pro中的“导出训练数据进行深度学习”功能为例。

如图6所示，最左侧是原始的影像与矢量叠加图，中间是原始影像的切片（1024*1024），最右侧就是生成的标签图片。值得注意的是标签是一个单波段的图像，它的每一个不同的像素值就代表了一个类别，如像素值0代表背景（黑色）、1代表林地（灰色）以及2代表道路（白色），如果你还记得之前所说的语义分割关注的是“类别+位置”，那么再来看这个标签图就显得合情合理了，剩下的只需要将原始影像切片与标签一一对应就建立好了语义分割的数据集。

与语义分割类似，我们在进行图像预处理和标注之后，就可以生成实例分割样本，如下图所示。

还记得实例分割的关键词是什么吗？“类别+位置+数量”，所以在这里的标签图（仅有林地）中，像素值0代表背景、1代表林地1、2代表林地2，…，以此类推。之后同语义分割一样建立影像切片与标签对应关系即完成了实例分割数据集的构建，如下图所示。

3、AI遥感解译产品：天枢（Learth）

从上述的样本制作过程中，不难看出在使用深度学习进行遥感解译的过程中，最为核心的那自然是神经网络算法，但要说最为繁琐、耗费时间的一步那就要数遥感数据样本的制作，它可能会占到整个过程大约80%的时间；此外，AI算法对大部分人仍是比较遥远的，即使是有一定造诣的AI算法工程师，也很难单靠一个人就可以训练出精确且稳定的解译模型。乔布斯曾说过：“懒人推动世界”，既然我们的最终目的是想得到一个AI遥感解译的模型，那么有没有一种“偷懒”的方式，不用这么耗时耗力的去制作样本和构建算法也可以快速的获得AI模型呢？答案自然是有的。

中科北纬(北京)科技有限公司与百度联合开发的“天枢（Learth）”平台就是这样一款AI遥感解译产品，该平台依托于深度学习技术和国产开源的深度学习框架（飞桨)，集成了海量数据管理、数据标注、模型训练、模型测试和发布、遥感推理服务，以及模型知识资产的安全管控功能，实现了数据到信息再到价值的挖掘路径。产品架构如下所示：

它不仅支持在线制作样本库（图11），而且也支持人机交互式样本的标注和直接利用已有的地理国情检测以及三调标注数据进行模型训练（图12）。

此外，它最大的特点就是对无编程基础的人非常友好，鼠标点选即可在线训练模型（图13），这大大节省了我们制作遥感样本这一过程，无需再进行数据切片处理和生成标签，直接就可以获得可用于生产的AI模型（图14）。

如果您还处在观望的阶段或是您还有一些额外的功能要求，我们公司已开通在线试用版“天枢”产品，并且我们平台也支持二次开发，可以很方便为您提供定制版天枢平台，在这里也欢迎每个对AI感兴趣的人前来试用和提供您的宝贵意见。

4、小结

遥感数据样本库的制作作为迈向AI技术的第一步，它对每一个想要学习和了解AI技术的人都至关重要，但是仅仅只会制作样本仍与我们最终的目的相差甚远。未来十年，遥感是否可以深刻地影响社会发展，切实解决生产生活中的问题，兼具普适性和经济价值，其关键点就在于AI技术在遥感领域的工业化。因此以天枢平台为代表的诸多AI解译平台也必将成为这场工业化中的主力军，在这里我们诚心希望每一位遥感行业中的从业者都可以参加到这场工业化之中，与我们一起共创AI遥感新时代。

关注中科北纬公众号：Zhongke-NB，即可申请平台试用！

本文为我原创本文禁止转载或摘编

遥感 语义分割 图像分类 数据标注 遥感数据 天枢遥感智能视觉平台 样本库制作