题名基于NoSQL的数据混合存储的研究与实现
作者林启胜
答辩日期2017-05-21
文献子类硕士
授予单位中国科学院大学
授予地点北京
导师王磊
关键词关系数据库 Nosql数据库 混合存储 优化设计
学位专业计算机技术
英文摘要

随着互联网+的兴起,各行各业的数据呈指数级增长,同时不同数据间也存在着某种程度的交集,因此越积越多的历史数据需要我们高效地进行处理和分析。数据的存储形式包括结构化数据、半结构化数据和非结构化数据。结构化数据一般是存储在关系数据库中,关系数据库具有读写实时性、高可靠性、支持复杂SQL查询、事务一致性等优点而被企业广泛使用。不过关系数据库对于处理高并发的读写请求,对非结构化数据存储能力不足,可扩展性也较差。NoSQL数据库则很好地弥补了关系型数据库的这些不足,并得到了广泛的应用。目前越来越多企业都采用关系数据库和NoSQL数据库结合使用来对业务数据进行存储。NoSQL数据库的引入解决了企业开发中大量非结构化数据的存储问题。但是如何确定哪些数据存储于关系型数据库,哪些数据存储于NoSQL数据库,是一个值得研究的问题。而且当项目中设计到对多种NoSQL数据库的操作,采用Spring Data框架屏蔽底层具体的数据库,使开发人员不关心底层具体的数据库而对数据进行操作的方法。在研究的基础上,本文提出了混合使用关系数据库和NoSQL数据库存储文献数据系统来验证混合数据存储的有效性。将数据根据不同特点存入不同数据库中。系统分为人员管理、文献管理、作者管理、数据统计四个模块。利用Spring框架的子项目Spring Data提供一致的编程模型,根据数据的概念模型,编写数据模型,实现数据对象模型的映射。定义对数据库的操作方法,实现对多种数据库增删改查操作,使得关系型数据库和NoSQL存储产品的使用变得更加的方便。可以更加专注于程序的业务逻辑。最后,通过添加索引、主从复制、添加缓存等机制来优化系统设计。采用公开的数据集,对比了MySQL和Mongodb数据库查询方面的性能差异。还对比了MySQL和Neo4j图数据库在进行相同的查询情况下性能方面的差异,证明了使用图数据库去展现数据间关系的良好性能,使用Mongodb存储文档型数据的良好性能。同时说明了根据数据不同阶段的特点去选择不同的NoSQL数据库的正确性及使用Spring Data框架作为解决方案的可行性和有效性。

内容类型学位论文
源URL[http://ir.xjipc.cas.cn/handle/365002/4936]  
专题新疆理化技术研究所_多语种信息技术研究室
作者单位中国科学院新疆理化技术研究所
推荐引用方式
GB/T 7714
林启胜. 基于NoSQL的数据混合存储的研究与实现[D]. 北京. 中国科学院大学. 2017.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace