三维点云数据在自动驾驶、机器人控制、增强现实/虚拟现实等领域有着广泛的应用。点云处理的核心是提取高质量的特征。传统方法需要人工设计特征，表达能力有限且泛化效果不好。深度学习具有强大的特征学习能力，并在图像视觉领域获得了巨大成功。由于点云与图像的数据结构有诸多不同，面向图像的神经网络无法直接用于处理点云数据。因此，设计能直接处理点云数据的神经网络极具挑战性，面临的主要困难如下。（1）图像是一种在离散空间内均匀分布的欧式数据，点云数据是一种在连续空间内分布不均匀的非欧式数据。因此，将欧式空间中的卷积算子拓展到非欧点云数据充满挑战。（2）点云数据是无序的，所设计的神经网络需要具有关于输入点云顺序的置换不变性。（3）三维空间中的刚性变换会导致点云坐标变化。刚性变换中最难消除的旋转变换会对模型性能带来巨大消耗，因此保证神经网络具有旋转不变性极其重要。为了解决这些问题，本文开展了相关神经网络模型构建和算法研究。本文主要工作及贡献如下：

（1）提出一种新型空间划分卷积（Space Probing Convolution， SPConv）。该操作是经典卷积的泛化版本，既可以处理图像数据，也可处理三维点云数据。其核心是使用神经网络学习自适应划分三维空间。具体而言， SPConv 定义了一个权重函数池，并使局部区域中的点选择合适的权重函数并与之相乘；通过构造一个几何结构引导的索引映射函数，隐式地建立卷积权重和邻域子空间的对应关系，坐落在同一子空间的数据点共享同一权重函数。因此，所提方法可自适应地划分局部三维空间并感知物体的局部结构信息。以 SPConv 为基本模块，通过搭建多层的神经网络模型 SPCNN 高效地理解并感知点云数据。 SPConv 和 SPCNN 均具有置换不变性。在点云分类、点云分割和点云法向量估计实验上分别取得了93.8、 62.08 和 0.146 的成绩，证明了 SPCNN 的优越性，同时 MNIST、 CIFAR10 图像分类实验分别取得了 99.58、 83.91 的成绩，展示了 SPCNN 的泛化性。

（2）构建一种新型基于四元数的旋转不变网络（Quaternion based Rotation Invariant Neural Network， QRINN）。该网络主要由旋转等变模块、几何特征模块和多层感知机模块三部分组成。旋转等变模块首先将原始点云转变为四元数点云，并利用旋转等变原理将作用于原始点云的旋转变换延迟至模块输出处。特征模块基于输入数据提取与空间坐标无关的几何特征（如角度、距离），旋转变换的影响被该模块彻底消除。头部的多层感知机模块可用于搭建任务相关的神经网络。该模型的核心是保证旋转等变模块的每个算子具有旋转等变特性，因此设计了新型注意力模块、新型 ReLU 激活函数、新型最大池化层和新型 Dropout 层。网络的三个模块均具有置换不变性，因此 QRINN 也具有置换不变性。在添加了大量旋转样本的点云分类实验中， QRINN 精度为 89.7，取得了 State-Of-The-Art 的性能。另外，实验还证明了 QRINN 具有严格旋转不变性，足以表明 QRINN 具有优异的性能。