随着机器人在生产生活中有了越来越广泛的应用，人们对机器人和环境的交互能力提出了更高的要求，希望它可以理解并执行人类的自然语言指令，能够实现类似于取放物品、回答环境信息等人机交互任务。为了达成这一目标，机器人需要理解所处环境的三维场景语义信息，即在完成对环境三维重建的同时识别出模型中物体的语义类别，从而构建出一个可供机器人查询检索的包含语义信息的地图。语义地图的构建离不开深度相机提供的室内深度图，因此作为三维重建技术基础的深度信息的精确获取变得非常重要。目前深度图可以由低价的深度相机便捷地获取，然而在这种硬件配置条件下获得的深度图通常分辨率较低。低分辨率深度图通过超分辨率处理技术获得高分辨率深度图，从而可以进一步提高三维重建的精度。本论文采用深度学习方法对机器人室内语义建图和深度图超分辨率问题进行探索和研究，主要工作包括：

1. 针对机器人室内语义建图的实时性和准确性问题，提出了基于三维点云深度神经网络与实时三维重建系统相结合的室内语义地图构建方法，通过使用PointNet++ 对ElasticFusion 在实时三维重建过程中根据RGB-D 图像生成的点云做语义分割，并使用贝叶斯更新方法根据相机位姿计算点云位置更新室内场景全局语义地图，实现了对室内场景的语义建图，突破了基于图像语义分割方法的传统语义建图形式，实现了三维场景点云构建与语义分割同步生成，在几何结构较为明显的语义类上达到了60%~70% 的像素级分类正确率，在某些语义类上相较于传统方法将像素级分类正确率提高了约5% 以上。

2. 针对深度图超分辨率的细节模糊问题，提出了一种基于双分支残差网络的深度图超分辨率重建技术，通过平行的残差块、组、层的嵌套结构对彩色图像和深度图进行多尺度的通道特征提取、交互和上采样，实现了端到端地生成高分辨率深度图，突破了高分辨率彩色图像指导低分辨率深度图上采样时通道特征融合简单且向深度图引入伪影的问题。在数据集Middlebury 上的测试结果表明本文提出的方法相较于传统方法在各个采样因子下平均均方根误差减少约20%。