写在前面
本文是由一次演讲整理出来的,文中大部分资料来源于网络,感谢Wikipedia,Google和MongoDB官网。文中使用的MongoDB版本为1.2.4。
What is NoSQL
NoSQL一词首先是Carlo Strozzi在1998年提出来的,指的是他开发的一个没有SQL功能,轻量级的,开源的关系型数据库。注意,这个定义跟我们现在对NoSQL的定义有 很大的区别,它确确实实字如其名,指的就是“没有SQL”的数据库。不过,NoSQL的发展慢慢偏离了初衷,Carlo Strozzi也发觉,其实我们要的不是”no sql”,而应该是”no relational”,也就是我们现在常说的非关系型数据库了。
2009年初,Johan Oskarsson举办了一场关于开源分布式数据库的讨论,Eric Evans在这次讨论中再次提出了NoSQL一词,用于指代那些非关系型的,分布式的,且一般不保证遵循ACID原则的数据储存系统的出现和兴起。 Eric Evans使用NoSQL这个词,并不是因为字面上的“没有SQL”的意思,他只是觉得很多经典的关系型数据库名字都叫”**SQL”(例如 MySQL,MS SQL,PostgreSQL),所以为了表示跟这些关系型数据库在定位上的截然不同,就用了”NoSQL”一词。
Wikipedia上对NoSQL的定义是这样的:NoSQL 是一项运动,这个运动推动了广义定义的非关系型数据储存系统的发展,并破除了长久以来关系型数据库一家独大的局面。论文和研究中一般将这些数据库称为结构化储存系统 。
为什么NoSQL变得流行
robbin的一篇文章(为什么要用非关系数据库? )很好地讨论了这个问题,这里只列出几个要点。
对数据库的“三高”需求
— 高并发读写
— 对海量数据的高效率读写
— 高扩展性和高可用性
关系型数据库的特性地位下降
— 事务一致性
— 读写实时性
— 复杂SQL,特别是多表关联查询
What is MongoDB
MongoDB 是一个面向文档的数据库系统。使用C++编写,不支持SQL,但有自己功能强大的查询语法。MongoDB使用BSON作为数据存储和传输的格式。 BSON是一种类似JSON的二进制序列化文档,支持嵌套对象和数组。MongoDB很像MySQL,document对应MySQL的 row,collection对应MySQL的table。
MongoDB在Windows上的安装运行很方便。直接下载、解压,然后运行 bin/mongod 即可启动服务器,运行 bin/mongo 即可运行命令行客户端。更多关于MongoDB的运行看这里 。MongoDB命令行客户端的脚本语法有些类似MySQL的:
1 show dbs // 列出所有数据库 2 use memo // 使用数据库memo。即使这个数据库不存在也可以执行,但该数据库不会立刻被新建,要等到执行了insert之类的操作时,才会建立这个数据库 3 show collections // 列出当前数据库的collections 4 db // 显示当前数据库 5 show users // 列出用户
MongoDB的查询语法很强大。例如,很多SQL可以做的,它都可以做:
1 coll.find() // select * from coll 2 coll.find().limit(10) // select * from coll limit 10 3 coll.find().sort({x:1}) // select * from coll order by x asc 4 coll.find().sort({x:1}).skip(5).limit(10) // select * from coll order by x asc limit 5, 10 5 coll.find({x:10}) // select * from coll where x = 10 6 coll.find({x: {$lt:10}}) // select * from coll where x <= 10 7 coll.find({}, {y:true}) // select y from coll
一些SQL不能做的,MongoDB也可以做:
1 coll.find({"address.city":"gz"}) // 搜索嵌套文档address中city值为gz的记录 2 coll.find({likes:"math"}) // 搜索数组 3 coll.ensureIndex({"address.city":1}) // 在嵌套文档的字段上建索引
索引:
1 coll.ensureIndex({productid:1}) // 在productid上建立普通索引 2 coll.ensureIndex({district:1, plate:1}) // 多字段索引 3 coll.ensureIndex({productid:1}, {unique:true}) // 唯一索引 4 coll.ensureIndex({productid:1}, {unique:true, dropDups:true|) // 建索引时,如果遇到索引字段值已经出现过的情况,则删除重复记录 5 coll.getIndexes() // 查看索引 6 coll.dropIndex({productid:1}) // 删除单个索引
安全与认证(该版本的MongoDB仅支持很基本的安全策略):
1 use shine // 如果要root权限,就用admin库 2 db.addUser("username", "password") // 普通权限,可读写 3 db.addUser("username", "password", true) // 只可读,不可写 4 db.system.users.remove({user: username}) // 删除用户
数据导出、导入:
1 // json或csv格式,每次一个collection 2 mongoexport -d producttrade -c basic -o /home/data/mongo_backup/producttrade_100504.json 3 mongoimport -d producttrade -c basic --drop /home/data/mongo_backup/producttrade_100504.json 4 5 // 二进制数据格式,常用于备份、还原 6 mongodump -d shine -o /home/data/mongo_backup 7 mongorestore -d shine --drop /home/data/mongo_backup/shine
MongoDB in Java
到这里 下一个MongoDB的Java驱动,把jar包扔到项目里去就行了。上面提到的通过脚本操作的功能,基本上都能在Java中找到实现。进行数据库连接的代码也十分简洁:
1 Mongo mongo = new Mongo(); 2 db = mongo.getDB("shine"); 3 coll = db.getCollection("producttrade"); 4 DBCursor cur = coll.find(); 5 // 对cur进行操作。。。
啰啰嗦嗦
- 每个BSON对象大小不能超过4MB。MongoDB使用GridFS 来储存大文件。
- 字段名限制:不能以”$”开头;不能包含”.”;”_id”是系统保留的字段,但用户可以自己储存唯一性的数据在字段中。
- MongoDB为每个数据库分配一系列文件。每个数据文件都会被预分配一个大小,第一个文件名字为”.0″,大小为64MB,第二个文件”.1″为128MB,依此类推,文件大小上限为2GB。
- MongoDB没有新建数据库或者collection的命令,只要进行insert或其它操作,MongoDB就会自动帮你建立数据库和collection。当查询一个不存在的collection时也不会出错,Mongo会认为那是一个空的collection。
- 一个对象被插入到数据库中时,如果它没有ID,会自动生成一个”_id”字段,为24位16进制数。
- Java中,Mongo对象是线程安全的,一个应用中应该只使用一个Mongo对象。Mongo对象会自动维护一个连接池,默认连接数为10。