[人工智能]基于无人机倾斜摄影和深度学习算法的单树点云分割方法研究

Abstract

从大量的点云数据中开发出针对单棵树的鲁棒点云分割算法对于跟踪树的变化具有重要意义。该方法可以测量单个树木的大小、生长和死亡率，以跟踪和了解森林碳储存和变化。传统的测量方法不仅速度慢，而且滞后。为了更好更快地获取森林信息，本文重点关注两个方面：一是利用无人机获取森林的多视点遥感影像，然后利用struct from motion算法构建森林稀疏点云和patch-基于MVS算法构建密集点云。二是提出了一种目标点云深度学习方法来提取单棵树的点云。研究结果表明，深度学习方法的单树点云分割准确率在90%以上，准确率远优于传统的平面图像分割和点云分割。点云数据采集与无人机遥感和点云深度学习算法相结合，可以满足林业调查的需求。不可否认，这种方法作为一种林业调查工具，具有很大的推广空间和未来发展的可能。

Index Terms：高效的深度学习算法，林业，匹配点云，树分割，无人机。

I. INTRODUCTION

森林是陆地上分布最广、结构最复杂、生物量最丰富的自然生态资源。森林被称为地球之肺，对整个地球生态的稳定发挥着巨大的作用。随着工业化的快速发展，森林砍伐应运而生，森林的保护与可持续发展已成为重要话题[1 ]。了解森林信息是森林保护的第一步。因此，了解如何立即准确地测量树木信息尤为重要[2]。特别是在大数据和信息化的背景下，我们需要找到一种快速、准确地获取林地信息的方法[3]、[4]。我们研究了现有的各种森林资源检测方法。综合比较了几种方法，各有各的不足。目前的森林调查方法一般有以下几种。

1. 人工调查的方法：这种方法是指调查人员进入森林进行人工信息测量，然后对树木进行标记并记录数据[5]。这种方法不仅效率低，而且费时。更重要的是，森林内部的生态结构复杂。一些地势陡峭或生长条件复杂的区域对侦查人员来说非常危险，不适合人们进入。
2. 卫星遥感[6]：由于信息量大、周期长，仅适用于林地分割和获取林地大小、地理位置信息。但是，无法获得树木的详细数据，例如树高和胸径。
3. 激光雷达模式：激光雷达获取的点云数据信息量大，可视化效果也不错。如今，用于林地信息提取的激光雷达可分为两种类型：机载激光雷达和地面激光雷达[7]。前者通过无人机扫描森林上空的数据，而后者则通过手动或林地手推车扫描森林下的森林[8]。前者在获取林地高层次信息方面有很大优势，例如获取林冠树的高层次信息。后者因为是在森林下扫描，所以可以直观的反映躯干信息，获取胸径信息非常准确。但是，现在激光雷达仍然是一种高端设备，设备的高成本不能被大多数人接受[9]。
4. 无人机可见光拍摄[10]、[11]：这样一般利用林地的低空影像获取森林正射影像，通过正射影像可以获得丰富的冠层信息[12] .但是，由于正射影像是二维平面图像，其余的信息如树高和胸径只能通过反演模型获得[13]。然而，经过多次实验，冠层信息与树高或胸径之间没有明显的相关性。由于精度低，反演的精度不能令人满意[14]。

由于无人机可见光设备具有低成本的特点，研究通过无人机多视图匹配算法[15]获取点云数据。近年来，多视图匹配算法已广泛应用于城市3D建模等领域。纵观世界各国的发展现状，倾斜航拍技术和密集匹配方法的研究正处于蓬勃发展的趋势[16]。越来越高效和准确的匹配算法使无人机成为昂贵的激光雷达设备获取点云的替代品[17]。

密集点云的分割一直是研究的热门话题[18]。点云分割就是将混沌点云数据分割成几个不相交的子集。每个子集中的数据具有相同的属性特征或一些语义信息[19]。目标的形状、比例或其他属性可以很容易地从点云数据中确定。其特征点云数据决定了在特定的混沌目标中得到的点云数据的分裂并不容易。利用现有方法得到的点云数据通常是无序的、稀疏的，并且包含大量的噪声点和异常。由于扫描仪等设备的限制，点云数据的采样密度并不均匀。此外，由于没有统计分布模式，点云数据的表面形状和分布可以是任意的、固定的或明亮的。由于高云点数据的冗余等原因导致采样密度不均[20]、[21]缺乏清晰的结构特征，点云数据的分割非常困难。如今，点云分割算法一般分为边缘分割方法、区域分割算法、基于属性的分割算法、基于图的分割算法和基于混合分割的基于模型的分割算法[22]。然而，点云数据是一种包含大量信息的大数据[23]，这些算法的准确性不是特别理想，因此点云模型的深度学习算法应运而生。针对点云数据稀疏、数据量有限等问题，提出了一种点网模型对点云数据进行分割[24]。在本实验中，我们对算法进行了修改，使其更适合森林树点云分割，以达到良好的精度。

II. RESEARCH ON METHOD OF OBTAINING RAW DATA

在这项研究中，使用无人机获取了多视点低空遥感图像。通过匹配算法得到稀疏和密集点云数据，得到数字高程模型和数字地形模型。可以将这两者相减得到树冠高度模型，该模型是包含树高的归一化模型[25]、[26]。具体思路如下图所示。

A. Experiment Time and Place

本次试验地点为中国黑龙江省哈尔滨市东北林业大学帽儿山试验林场。东北林业大学帽儿山实验区位于尚志市西北部。场地距市区40公里，地理坐标为东经$127^{°}18^{\prime }{0}^{\prime \prime }$—$127^{°}41^{\prime }{6}^{\prime \prime }$，北纬$45^{°}{2}^{\prime }20^{\prime \prime }?45^{°}18^{\prime }16^{\prime \prime }$。林场坡度较缓，大部分坡度在5°～25°之间，地势北高南低，海拔在200～600m之间。属中温带大陆性季风气候。地带性植被以红松为主。森林面积130×130m，落叶松1000株。林地冠层闭合率达90%以上，属于茂密林地。在试验期间，落叶松叶片未启动，以确保冠层闭合度等数据真实有效。当天的天气很好，确保拍摄数据准确。

B. UAV Data Acquisition

无人机数据采集选择在晴朗无风的天气。无人机型号为大疆Inspire1专业级无人机，轴距559-581毫米，飞行时间20分钟。配备1240万颗FC350摄像头和SONY EXMOR 1/2.3传感器，可进行单张、多张连拍，最高4096×2160p分辨率高清录制。倾斜摄影方案在一个正交和四个倾斜方向上执行。经过多次试验，为了达到最佳效果，航向重叠率设置为85%。侧面重叠率设置为 85%。第二至第五航线的倾角为45°，最大飞行速度为6 m/s，拍照间隔为2 s。每条航线的飞行时间为7-9分钟，飞遍研究区约需45分钟。

C. Point Cloud Data

与机载雷达不同，点云数据可以直接获取。该实验基于计算机视觉和多视图[27]。多视角倾斜摄影可以从多个角度拍摄地面物体，可以获得物体除垂直方向外的侧面纹理信息，可以全面反映物体的纹理属性。采用运动结构（SFM）和MVS算法对多视点图像进行匹配，得到实验区的稀疏点云和密集点云。总体思路是首先使用运动恢复目标结构（SFM）算法对无序图像进行快速特征点提取和匹配。通过基本矩阵可以得到相机的初始位置参数，经过迭代调整得到相机。树的优化参数和稀疏点云数据用于获取对象的密集空间3D点云数据[28]。

III. POINT CLOUD GENERATION METHOD

A. Extraction of Feature Points

Harris、DOG[29]和SIFT[30]是一些常见的图像特征点提取算法。这些算法在图像特征检查和提取中得到了很好的应用。 Harris算法有很大的局限性，不适用于我们的林业数据。一是对尺度敏感，不具有尺度不变性。那么提取的角点的精度太低了，是像素级的。最重要的是它需要手动设计角点匹配算法，导致工作量增加。所以SIFT算法成为了我们的首选。 SIFT算法由Lowe提出。该方法对旋转、比例缩放、亮度变化、视角变化、辐射变换、噪声保持等具有一定的稳定性。 SIFT算子可以快速准确地匹配大量特征数据。及其对其他形式的特征向量的扩展，不断得到改进和应用。算法主要包括以下内容。

1）尺度空间和极值检测：尺度空间是通过图像和高斯卷积得到的，在2D图像中定义如下：

$$G\left(x_i,y_i,\sigma \right)=\frac{1}{2\pi {\sigma }^2}{e}^{\frac{?\left(x_i{}^2+y_{i}2\right)}{2{\sigma }^2}}(1)$$

$$L\left(x_i,y_i,\sigma \right)=G\left(x_i,y_i,\sigma \right)?I\left(x_i,y_i\right)(2)$$

其中$G\left(x_i,y_i,\sigma \right)$是尺度变量高斯函数；$\left(x_i,y_i\right)$表示像素在图像上的位置；$L\left(x_i,y_i,\sigma \right)$是图像的尺度空间；$\sigma$是尺度空间因子。尺度空间极值点的检测是将每个样本点与周围点进行比较，找到尺度空间极值，得到局部区域的极值，通过高斯函数得到原始图像。

2）关键点定位：我们通过拟合一个三维二次函数来删除低对比度的点，以准确确定关键点的位置，增强匹配的稳定性，提高抗噪声能力。

3）确定关键点方向：使用关键点的局部图像特征基于梯度，每个关键点梯度最大的方向为主方向。关于梯度，我们使用以下公式进行计算：

$$\mathrm{m}(x,y)=\sqrt{L(x+1,y)?L(x?1,y{)}^2+(L(x,y+1)?(L(x,y?1{)}^2}(3)$$
$$\theta (x,y)={\tan }^{?1}\left[\frac{L(x,y+1)?L(x,y?1)}{L(x+1,y)?L(x?1,y)}\right](4)$$

其中$\mathrm{m}(x,y)$是高斯金字塔图像点$(x,y)$处的梯度模量，$\theta (x,y)$是高斯金字塔图像点$(x,y)$处的方向。

4 ) 关键点描述：关键点的描述符将关键点周围的图像区域进行分割，计算块内的梯度直方图，生成一个唯一的向量，抽象地表达该区域的图像信息。

B. Feature Points Matching

在获得每幅图像的特征点后，将最近邻的特征点作为匹配点来匹配每幅图像的特征[31]，[32]。考虑到关键描述符的特征向量为128维，通过距离函数和各种搜索算法搜索每个特征点的最近邻特征点。但是，特征点的匹配可能会出现错误情况，因此删除不匹配的点也很重要。根据摄影几何理论的关系，两幅重叠图像中匹配的同名共核平面具有极约束关系。两个不同图像上的点$\left(x_i,y_i\right),\left(x_j,y_j\right)$满足如下关系：

$$?\left(\begin{array}{lll}{x}_i& y_i& 1\end{array}\right]F?\begin{array}{r}{x}_j\\ y_j\\ 1\end{array}?=0(5)$$

其中$F$是计算机视觉中的基本矩阵，表示立体对的图像点之间的对应关系。在本实验中，我们使用RANSAC算法来计算F矩阵。首先，RANSAC算法从图像I和图像$J$的匹配点对$S$中提取样本大小为$n$的样本。其次，从样本M中提取不共线的三对匹配点并计算基本矩阵$F$。图像i中的其他特征点通过基矩阵F进行变换，以获得在$j$ 图像上的投影。然后给定一个阈值，如果两者的差值大于阈值，则应该丢弃噪声点。以$F$矩阵的值作为具有最小噪声点的最终结果执行不同的样本采集。

C. SFM Algorithm for Sparse Point Cloud

运动恢复目标结构算法（SFM）用于生成稀疏点云[33]。首先，使用SIFT算法提取图像上的特征点，并将提取的特征点包含在轨迹中。然后，对具有两个以上特征点的轨迹进行重构，得到每幅图像。相机参数和特征点的3-D坐标信息。 SFM的基本算法如下。

设$R_{\mathrm{j}},{\mathrm{c}}_j,{\mathrm{f}}_j$为相机$j$的方向中心位置和焦距，则点$X_i$在图像 $j$上的投影可以记为$X_{ij}=f_j\prod \left(R_j\left(X_i?c_j\right)\right)$。$\Pi$是投影方程$\Pi (x,y,z)=\left(\frac{x}{z},\frac{y}{z}\right)$。 SFM通过$X_i$找到误差平方和的最小值

$$\arg \min \sum {\Vert X_{ij}?f_j\Pi \left(R_j\left(X_i?c_j\right)\right)\Vert }^2.(6)$$

求解上式的最小值意味着得到特征点的3-D坐标[34]。

D. PMVS Algorithm for Dense Point Cloud

SFM算法只能得到稀疏的点云数据。为了获得准确的信息，需要密集的点云匹配[35]。基于patch的MVS（PMVS）算法用于细化通过SFM技术获得的网格以进行密集重建。 PMVS是一种单面多视图立体视觉算法；通过该算法可以得到对象的密集点云数据，从而使点云对对象的描述在准确度和完整性上都有很好的效果。该算法在生成密集的 3-D 点云方面具有更好的鲁棒性。其原理可以概括为：利用Harris点算子和DOG（高斯差分）检测图像中的特征点。稀疏对象3-D点通过同名匹配和前向交集得到，种子块初始化为目标点。将种子切片扩展到邻域网格得到一个稠密patch，然后对稠密patch进行过滤以删除错误的bin。经过多次扩展和过滤，最终得到森林的密集点云数据。

图 1、点云采集过程

图 2 实验区条件

图 3. 相机姿势。

图 4 种子点特征向量形成。

首先，将Harris算子和DOG算子提取的特征点按照极线约束的原理进行匹配，得到特征点集。特征点$f$使用(1)-(4)进行初始化。种子patch p以得到的$c(p)$和$n(p)$为变量，通过共轭梯度法最小化光度差值，选择最优的作为最终对应的patch。其次，$p$的相邻块$p^{\prime }$是从$p$的图像块$C_i(x,y)$扩展而来的。单侧$p^{\prime }$的信息由单侧$p$的信息初始化，$C\left(p^{\prime }\right)$的初始值为$C_i(x,y)$。中心投影线与$p$所在平面的交点，$n\left(p^{\prime }\right)$的初值为$n(p)$，然后利用优化过程优化$C\left(p^{\prime }\right)$和$n\left(p^{\prime }\right)$获取新patch。使扩展的一侧集合完全覆盖目标的表面。展开完成后，对灰度一致性和几何一致性较弱的单面人脸进行过滤去除。最后得到目标物体和场景的密集点云数据。

IV . POINT CLOUD SEGMENTATION ALGORITHM

点云是当今重要的数据结构。由于其不规则的格式，大多数研究人员将这些数据转换为规则的3-D体素网格或图像集合[36]。但是，这会使数据变得不必要地大，并导致一系列问题。在本文中，使用了一种直接处理点云的新型神经网络。它尊重输入点排列的不变性并划分树点云[37]。

图 5 特征点匹配结果

图 6 最终无人机匹配点云模型。

点云数据是欧几里得空间中点的子集。它具有以下三个特点。

无序：点云数据是一个集合，对数据的顺序不敏感。这意味着处理点云数据的模型需要对数据的不同排列保持不变。当前文献中使用的方法包括对无序数据进行重新排序，使用数据的所有排列来扩充数据，然后使用RNN模型，以及使用对称函数来确保排列不变性。由于第三种方法简单且易于在模型中实现，因此选择第三种方法使用最大池化的对称函数来提取点云数据的特征[38]。

点之间的空间关系：一个物体通常是由特定空间中的一定数量的点云组成，即这些点云之间存在空间关系。为了有效利用这种空间关系，局部特征和全局特征串联起来以聚合信息。

不变性：点云数据表示的目标应该对某些空间变换保持不变，例如旋转和平移[39]。因此，在进行特征提取之前，首先对点云数据进行对齐以保证不变性。对齐操作是通过训练一个小型网络得到变换矩阵并与输入的点云数据相乘来实现的。

由于点云只是一组点，因此其成员的排列方式不会改变；所以网络计算需要一定程度的对称性。我们的神经网络是一个统一的架构，与之前的方法不同，它直接将点云作为输入，并为输入的每个点输出标记每个点段/部分。我们网络的基本架构非常简单，因为在初始阶段，每个点都以相同的方式独立处理 [40]。在基本设置中，每个点仅由其三个坐标（x、y、z）表示。可以通过计算法线和其他局部或全局特征来添加额外的维度。我们方法的关键是使用单个对称函数最大池化来有效和系统地学习一组优化函数。这些函数在点云中选择具有代表性的信息点并对其选择的原因进行编码。网络的最终全连接层使用这些学习到的最优值来预测每个点的标签以进行形状分割。达到分割单个树形点云的效果[41]。在本实验中，我们使用传统方法和人工视觉解释[42]对生成的点云数据进行分割。得到的1000株植物点云数据用于实验；以下是随机选择的单木点云模型。

我们将单棵树的点云分割视为一个部分段，每棵树都是整个森林的一部分。对点云进行体素化会改变点云数据原有的特征，造成不必要的数据丢失，增加工作量。我们采用了独创的点云输入法，最大限度地保留了点云的空间特征，在最终测试中取得了不错的效果。其基本思想是为输入点云中的每个点学习相应的空间编码，然后利用所有点的特征得到全局点云特征。我们在深度学习神经网络的输入端输入树中每棵树的点云信息，然后让神经网络自主学习点云数据的关键特征，进行点云分割。神经网络的模型如下。

如上图所示，输入为一帧所有点云数据的集合，表示为n×3的二维数据，其中n表示点云的个数，3对应xyz坐标[43]。首先，通过将输入数据与 T-Net 学习的变换矩阵相乘来对齐输入数据，以确保模型对特定空间变换的不变性。通过多个 mlp 为每个点云数据提取特征后，使用 T-Net 对特征进行对齐。对特征的每个维度进行最大池化操作，得到最终的全局特征。最后，每个输入点都会得到一个1024维的描述。通过最大池化，将n-1024融合成1024维的特征来描述这个向量。

由于对局部特征的要求，需要将n×64个局部特征与1024维全局特征结合起来进行融合，在64维特征之后跟随每个点的1024个全局特征。这形成了一个 1088 维的特征。然后用一个mlp(512,512,128)学习n×1088维的特征维度，生成一个n×128的向量，用(128,m)感知器对最终的特征进行分类，其中n对应n个点，m对应到m个类别对应的点。因为是同一棵树，所以m设置为1[ 4 4 ]。

分割网络运行后，我们可以得到n个单棵树的点云模型。我们对分割后的不同点云进行不同颜色的渲染，可以得到分割结果的可视化，使分割一目了然。

我们将树点云模型中的最高点设置为其树顶点。我们读取点云数据的 (x, y, z) 3-D 信息，然后我们可以从 (x, y) 知道树的地理位置，从 z 得到树的高度。所以我们对分割后的点云模型进行了初步处理。我们得到了划分林地的整体信息。

分割结果的准确性可以通过树高来判断。首先我们发现原来的1000棵树被分成了977棵树，然后我们提取了划分树模型的高度，确定了对应的树id。然后我们用点云数据将树高与实际人工测量的树高进行比较.对于误差较大的模型，我们认为分割有问题，判断为错误分割。考虑到实际测量中产生的误差，我们认为树高结果在15%以内的可接受误差范围内。如图所示。如图12和13，经过粗略对比和人工判断，100个点云分隔1000棵树，树高差距较大。错误集中在较低的树上。我们认为原因是由于试验林地的冠层密度较高，较低的树木被阻挡，点云模型失去了大部分特征。所以我们有理由认为，在较低的冠层水平的森林中会有更好的实验结果.

我们的分割结果如图 11 所示。得到实验结果后，我们将实验结果与经典算法和最新算法进行了比较，以确定该算法是否优越。我们选择了最具代表性的传统算法和新提出的新算法，包括传统的正射影像分割算法和深度学习点云分割算法，这使得我们的比较更有意义和有说服力。

以下是选择的一些代表性算法。

1. Chen等人提出了一种从点云数据中提取单棵树的方法。该方法将markcontrol分水岭分割方法应用于热带稀树草原林地的单棵树分离。在搜索中，通过搜索局部最大值来检测树冠[45]。他们的实验产生了绝对准确度为 64.1% 的结果。

2. Solberg 等人提出了一种控制树冠段形状和树冠表面模型 (CSM) 残差调整的新算法来分割树的点云。该算法在挪威云杉林中得到应用和验证，最大精度为74% [46]。

3. Wagner 等人利用卫星图像进行树冠分割，并通过预处理、森林像素选择、边界增强、树冠边界像素检测、大树阴影校正和树冠分割，将其应用于热带大西洋雨林地区。在这七种原生树种中，识别率高达96%，这也证明了传统二维正射影像的单木分割取得了不错的进展，准确率难以进一步提高[47]。

4. Burt 等人使用了通用的点云处理技术，包括欧几里得聚类、主成分分析、基于区域的分割、形状拟合和连通性测试。使用treeseg开源软件，他们在热带森林中的树木分割中实现了96%的准确率[48]。

图 9 分类网络中的数据处理。

图 10. Split 网络。

图 11. 分割结果。

对比结果如表一所示。从以上一系列不同算法的精度对比可以看出，我们的算法在精度上已经远远超过了传统的经典点云分割算法。传统的二维正射影像分割，点云数据有更多的信息，点云分割比正射影像分割更有意义，因为我们可以得到一系列二维照片无法获得的信息，如身高、胸径等。最后，与最新的点云分割方法相比，我们的精度略显不足，但是我们使用无人机匹配点云数据而不是激光雷达点云数据。无人机匹配点云数据的精度远低于激光雷达数据，直接导致我们的分割精度不够高。另一种可能是树种不同。它们是热带树种，而我们是温带落叶林。这些问题将在我们进一步深入的研究中加以探讨。但我们也有我们的优势，就是小型无人机的价格比激光雷达低。这一优势使我们的算法更加实用和流行。

图 12 提取树高与测量树高比较（横坐标表示树 id，纵坐标表示高度）。

图 13. 从低到高排列树木得到的整体对比度。

表一 分割结果比较

V. CONCLUSION

在这个实验中，我们实现了两个目标。它们是无人机的点云采集和深度学习的点云分割。

首先，使用无人机而不是昂贵的雷达设备来收集点云数据。虽然雷达设备获取的点云信息非常准确，但由于雷达设备成本高昂，很少有人能够使用。近年来，随着无人机的发展，特别是飞控技术的稳定和成熟，倾斜摄影技术得到了发展和广泛应用。本文研究了从密集匹配的多视图图像中获取点云的步骤和算法。采用运动恢复结构（SFM）和PMVS算法获得点云数据。根据点云滤波去噪后，通过对地面点进行分类，成功建立树冠高度模型（CHM）；因此，树高可以直接从树的CHM和每棵树的信息点云中得到。

其次，与传统的使用机器学习算法获取包含树木物理信息的单棵树的点云信息的方法相比，在准确性上有所突破。因此，可以准确地接收到森林的重要信息，包括木材的数量和地上生物量，这意味着我们可以根据这些数据进一步计算得到重要的信息，例如森林的碳储量，助力整个林业资源信息化和林业可持续发展。

在本实验的过程中，虽然我们取得了较好的分割效果和准确率，但仍然存在很多不足。例如，我们在这项研究中针对的是单一树种。如何通过点云自动识别不同物种和不同特征（用于人工混交林和天然林的识别）是下一步研究的关键。此外，研究结果表明，该算法在低树分割和高点云密度方面的准确性有所下降。因此如何在较高密度的林区保证算法的准确性成为我们亟待解决的问题。

最后，虽然我们的实验还存在一些不足，但实验结果凸显了无人机点云在树木信息提取方面的发展潜力。它为利用无人机获取林业信息提供了一个很好的例子，为未来大数据时代的研究提供了可行的方向。我们希望在未来，我们可以在这个实验上考虑更多的功能，以及如何在不同的环境中应用森林来做更多的研究。

原文链接：https://ieeexplore.ieee.org/abstract/document/9140300

REFERENCES

[1] J. Hyyppa, O. Kelle, M. Lehikoinen, and M. Inkinen, “A segmentationbased method to retrieve stem volume estimates from 3-D tree height models produced by laser scanners,” IEEE Trans. Geosci. Remote Sens., vol. 39, no. 5, pp. 969–975, May 2001.

[2] J. Rasmussen, G. Ntakos, J. Nielsen, J. Svensgaard, R. N. Poulsen, and S. Christensen, “Are vegetation indices derived from consumer-grade cameras mounted on UA Vs sufficiently reliable for assessing experimental plots?,” Eur . J. Agronomy, vol. 74, pp. 75–92, 2016.

[3] Z. Lv, H. Song, P . Basanta-V al, A. Steed, and M. Jo, “Next-generation big data analytics: State-of-the-art, challenges, and future research topics,” IEEE Trans. Ind. Inform., vol. 13, no. 4, pp. 1891–1899, Aug. 2017.

[4] Y . Sun, H. Song, A. J. Jara, and R. Bie, “Internet of things and big data analytics for smart and connected communities,” IEEE Access, v o l . 4 , pp. 766–773, 2016, doi: 10.1109/ACCESS.2016.2529723.

[5] L. Wallace, A. Lucieer, C. Watson, and D. Turner, “Development of a UA V -LiDAR system with application to forest inventory,” Remote Sens., vol. 4, no. 6, pp. 1519–1543, 2012.

[6] J. Heiskanen, “Estimating aboveground tree biomass and leaf area index in a mountain birch forest using ASTER satellite data,” Int. J. Remote Sens., vol. 27, no. 6, pp. 1135–1158, 2006.

[7] Z. Huang et al., “Retrieval of aerodynamic parameters in rubber tree forests based on the computer simulation technique and terrestrial laser scanning data,” Remote Sens., vol. 12, no. 8, 2020, Art. no. 1318.

[8] K. E. Fankhauser, N. S. Strigul, and D. Gatziolis, “Augmentation of traditional forest inventory and airborne laser scanning with unmanned aerial systems and photogrammetry for forest monitoring,” Remote Sens., vol. 10, no. 10, 2018, Art. no. 1562.

[9] T. Y un et al., “Simulation of multi-platform LiDAR for assessing total leaf area in tree crowns,” Agricultural F orest Meteorol., vol. 276–277, 2019, Art. no. 107610.

[10] B. T. Fraser and R. G. Congalton, “Issues in unmanned aerial systems (UAS) data collection of complex forest environments,” Remote Sens., vol. 10, no. 6, 2018, Art. no. 908.

[11] Q. Feng, J. Liu, and J. Gong, “UA V remote sensing for urban vegetation mapping using random forest and texture analysis,” Remote Sens. v o l . 7 , no. 1, pp. 1074–1094, 2015.

[12] J.-C. Padró, F.-J. Mu?oz, J. Planas, and X. Pons, “Comparison of four UA V georeferencing methods for environmental monitoring purposes focusing on the combined use with airborne and satellite remote sensing platforms,” Int. J. Appl. Earth Observ. Geoinformation, vol. 75, pp. 130–140, 2019.

[13] J. Lin, M. Wang, M. Ma, and Y . Lin, “Aboveground tree biomass estimation of sparse subalpine coniferous forest with UA V oblique photography,” Remote Sens., vol. 10, no. 11, 2018, Art. no. 1849.

[14] J. Goetz, A. Brenning, M. Marcer, and X. Bodin, “Modeling the precision of structure-from-motion multi-view stereo digital elevation models from repeated close-range aerial surveys,” Remote Sens. Environ., vol. 210, pp. 208–216, 2018.

[15] J. Toma?tík, M. Mokro?, ?. Saloˇn, F. Chudy, and D. Tunák, “Accuracy of photogrammetric UA V -based point clouds under conditions of partiallyopen forest canopy,” F orests, vol. 8, no. 5, 2017, Art. no. 151.

[16] J. Liu et al., “Extraction of sample plot parameters from 3D point cloud reconstruction based on combined RTK and CCD continuous photography,” Remote Sens., vol. 10, no. 8, 2018, Art. no. 1299.

[17] F. Cao, F. Liu, H. Guo, W. Kong, C. Zhang, and Y . He, “Fast detection of Sclerotinia sclerotiorum on oilseed rape leaves using lowaltitude remote sensing technology,” Sensors, vol. 18, no. 12, 2018, Art. no. 4464.

[18] R. B. Rusu and S. Cousins, “3d is here: Point cloud library (pcl),” in Proc.

IEEE Int. Conf. Robot. Automat., 2011, pp. 1–4.

[19] L. Windrim and M. Bryson, “Forest tree detection and segmentation using high resolution airborne LiDAR,” 2018, arXiv:1810.12536.

[20] X.-C. Zhang, J.-T. Xi, and J.-Q. Y an, “A methodology for smoothing of point cloud data based on anisotropic heat conduction theory,” Int. J. Adv.

Manuf. Technol., vol. 30, no. 1–2, pp. 70–75, 2006.

[21] A. J. Mathews and J. L. R. Jensen, “Visualizing and quantifying vineyard canopy LAI using an unmanned aerial vehicle (UA V) collected high density structure from motion point cloud,” Remote Sens., vol. 5, no. 5, pp. 2164–2183, 2013.

[22] L. P . Tchapmi, C. B. Choy, I. Armeni, J. Gwak, and S. Savarese, “Systems and methods for semantic segmentation of 3D point clouds,” U.S. Patent Application, vol. 155, no. 16, p. 843, 2019.

[23] G. Dartmann, H. Song, and A. Schmeink, Big Data Analytics F or CyberPhysical Systems: Machine Learning F or the Internet of Things. N e w Y o r k , NY , USA: Elsevier, 2019.

[24] W. Lin, Y . Meng, Z. Qiu, S. Zhang, and J. Wu, “Measurement and calculation of crown projection area and crown volume of individual trees based on 3D laser-scanned point-cloud data,” Int. J. Remote Sens., vol. 38, no. 4, pp. 1083–1100, 2017.

[25] J. Ren, X. Chen, and Z. Zheng, “Future prospects of UA V tilt photogrammetry technology,” IOP Conf. Series: Mater . Sci. Eng., vol. 612, no. 3, 2019, Art. no. 032023.

[26] R. S. Shih et al., “UA V 3D modeling with multi-spectral imaging: an example of wax apple tree,” Proc. SPIE 11130 Imaging Spectrometry XXIII: Appl. Sens. Process., vol. 11130, 2019, Art. no. 1113008.

[27] T. Urayama et al., “UA V -based structure from motion–Multi-view stereo (SfM-MVS): Mapping cliff face of central crater of Mt. Miharayama, Izu Oshima, Central Japan,” in Unmanned Aerial V ehicle: Applications in Agriculture and Environment. Berlin, Germany: Springer, 2020, pp. 119–129.

[28] C. Guo, G. Liu, W. Zhang, and J. Feng, “Apple tree canopy leaf spatial location automated extraction based on point cloud data,” Comput. Electron.

Agriculture, vol. 166, 2019, Art. no. 104975.

[29] Y . Duan, T. Peng, and X. Qi, “Active contour model based on LIF model and optimal DoG operator energy for image segmentation,” Optik, vol. 202, 2020, Art. no. 163667.

[30] A. Gardezi, U. Malik, S. Rehman, R. Y oung, P . Birch, and C. Chatwin, “Enhanced target recognition employing spatial correlation filters and affine scale invariant feature transform,” Proc. SPIE 10995 Pattern Recognit.

Tracking XXX, vol. 10995, 2019, Art. no. 109950.

[31] F. Hu, Y . Li, and M. Feng, “Continuous point cloud stitch based on image feature matching constraint and score,” IEEE Trans. Intell. V eh., v o l . 4 , no. 3, pp. 363–374, Sep. 2019.

[32] J. Ma, J. Jiang, H. Zhou, J. Zhao, and X. Guo, “Guided locality preserving feature matching for remote sensing image registration,” IEEE Trans.

Geosc. Remote Sens., vol. 56, no. 8, pp. 4435–4447, Aug. 2018.

[33] F. Pittaluga, S. J. Koppal, S. B. Kang, and S. N. Sinha, “Revealing scenes by inverting structure from motion reconstructions,” in Proc. IEEE Conf.

Computer Vision Pattern Recognit., 2019, pp. 145–154.

[34] A. Alfonso-Torre?o, á. Gómez-Gutiérrez, S. Schnabel, J. F. L. Contador, J. J. de Sanjosé Blasco, and M. S. Fernández, “sUAS, SfM-MVS photogrammetry and a topographic algorithm method to quantify the volume of sediments retained in check-dams,” Sci. Total Environ., vol. 678, pp. 369–382, 2019.

[35] J. Hata, K. Ito, and T. Aoki, “A 3D reconstruction method using PMVS for a limited number of view points,” Proc. SPIE 11049 Int. Workshop Adv.

Image Technol., vol. 11049, 2019, Art. no. 1104942.

[36] B. Bhowmick, S. Agarwal, S. Sinha, B. Purushothaman, and A. Mallik, “Methods and systems for surface fitting based change detection in 3D point-cloud,” U.S. Patent, 2019.

[37] I. L. Sari, R. Maulana, H. S. Dyatmika, A. Suprijanto, R. Arief, and S.

Ali, “Study of digital elevation model (DEM) extraction using stereo radargrammetry TerraSAR-X in Madiun area—Elevation accuracy improvement,” in E3S Web of Conf., EDP Sciences, vol. 94, 2019.

[38] T. Tian, D. Wang, and X. Zhao, “Impacts of the land surface slope on forest spatial distributions,” in Proc. 8th Int. Conf. Agro-Geoinformatics (Agro-Geoinformatics), 2019, pp. 1–4.

[39] Z. Zheng, P . Kirchner, and R. J. Bales, “Topographic and vegetation effects on snow accumulation in the southern Sierra Nevada: A statistical summary from lidar data,” Cryosphere, vol. 10, no. 1, pp. 257–269, 2016.

[40] M.-S. Fradette, A. Leboeuf, M. Riopel, and J. Bégin, “Method to reduce the bias on digital terrain model and canopy height model from LiDAR data,” Remote Sens., vol. 11, no. 7, 2019, Art. no. 863.

[41] J. Lisein, M. Pierrot-Deseilligny, S. Bonnet, and P . Lejeune, “A photogrammetric workflow for the creation of a forest canopy height model from small unmanned aerial system imagery,” Fo re s t s, vol. 4, no. 4, pp. 922–944, 2013.

[42] K. Ogura, Y . Y amada, S. Kajita, H. Y amaguchi, T. Higashino, and M. Takai, “Ground object recognition and segmentation from aerial image-based 3D point cloud,” Comput. Intell., vol. 35, no. 3, pp. 625–642, 2019.

[43] C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in Proc. IEEE Conf. Comput.Vision Pattern Recognit., 2017, pp. 652–660.

[44] T. Tsujibayashi, K. Inoue, and M. Y oshioka, “Normal estimation of surface in pointcloud data for 3D parts segmentation,” in Proc. IEEE Int. Conf.Artificial Intell. Eng. Technol., 2018, pp. 1–5.

[45] Q. Chen, D. Baldocchi, P . Gong, and M. Kelly, “Isolating individual trees in a Savanna Woodland using small footprint lidar data,” Photogrammetric Eng. Remote Sens., vol. 72, no. 8, pp. 923–932, 2006.

[46] S. Solberg, E. Naesset, and O. M. Bollandsas, “Single tree segmentation using airborne laser scanner data in a structurally heterogeneous spruce forest,” Photogrammetric Eng. Remote Sens., vol. 72, no. 12, pp. 1369–1378, 2006.

[47] F. H. Wagner et al., “Individual tree crown delineation in a highly diverse tropical forest using very high resolution satellite images,” ISPRS J.Photogrammetry Remote Sens., vol. 145, pp. 362–377, 2018.

[48] A. Burt, M. Disney, and K. Calders, “Extracting individual trees from lidar point clouds using treeseg,” Methods Ecol. Evol. vol. 10, no. 3, pp. 438–445, 2018.