NoSQL&MongoDB

MongoDB:

    Is NoSQL(技术的实现,并非是一个特定的技术,与RMDS对立):Not only SQL

    大数据问题:BigData,eg:同时访问几个页面,代码实现几个页面访问量的大小?

        Four Systems:1、并行数据库:水平切分,分区查询

                  2、NoSQL数据库管理系统:非关系模型、分布式、不支持ACID数据库设计模式(ACID:指数据库事务正确执行的四个基本要素缩写,即 原子性Atomicity、一致性Consistency、隔离性Isolation、持久性Durability)

                            NoSQL特点:简单数据模型;元数据和数据分离;弱一致性;高吞吐量;高水平扩展能力和低端硬件集群

                  3.NewSQL数据库管理系统【include Nosql & ACID & SQL】

                      代理产品:Clustrix、GenieDB、ScalArc、ScaleDB、NimbusDB、Drizzle等

                  4.云数据管理

ACID

BASE

Strong consistency

Weak consistency

Isolation

Availability first

Focus on “commit”

Best effort

Nested transactions

Approximate answer

Availability

Aggressive(optimistic)

Conservative

Simpler

Difficult evolution(schema)

Faster 、 Easier evolution

 

    大数据的分析处理:MapReduce

 

    CAP[分布式领域CAP

        (Consistency一致性、

Availability可用性、

Partition tolerance分区容错性)理论]

—注:任何分布式系统只可同时满足两点,没法三点兼顾。

        (弱一致性/)最终一致性划分:因果一致性;(read your own wiriting)读 自己写一致性;会话一致性;单调(数学上单一方向)读一致性;时间轴一致性;

 

    ACID:强一致性、隔离性、采用悲观保守的方法、难以变化;

    BASE:弱一致性、可用性优先、采用乐观的方法、适应变化、更简单、更快

数据一致性的实现技术:NRW    2PC     Paxos    Vector Clock

 

数据存储模型:www.nosql.databases.org

列式存储模型Wide Column Store/Column Families

         文档数据模型Document Store

         镜像数据模型Key Value/Tuple Store(hash表)

         图式数据模型Graph Databases

多维数据模型Multimodel Databases

列式模型:

应用场景:在分布式文件系统之上提供支持随机读写的分布式数据存储

典型产品:HBase、HyperTable、Cassandra

数据模型:以“列”为中心进行存储,将同一列数据存储在一起

优点:快速查询、高可扩展性、易于实现分布式扩展

 

文档模型:

    应用场景:非强事务需求的web应用

    典型产品:MongoDB、ElasticSearch、CouchDB、CouchBase Server

    数据模型:键值模型、存储为文档

    优点:数据模型无需事先定义

 

键值模型:

应用场景:内容缓存,用于大量并行数据访问高负载场景

    典型产品:DynamoDB、Riak、Redis

        数据模型:基于哈希表实现的key-value

        优点:查询迅速

   

图式模型:

    应用场景:社交网络、推荐系统、关系图谱

    典型产品:Neo4j。Infinite Graph

    数据模型:图式结构

    优点:适用于图式计算场景

 

MongoDB:NoSQL、文档存储。Json

     Database:支持多个database

 

常用命令:

Help

db.help();

db.stats()

db.serverStatus()数据库状态;mongodb数据库服务器状态

 

show dbs

show collections

 

db.getCollectionNames()

 

CRUD(数据库操作):

DDL,DML

JSON:JavaScript Object Notation

    名称/值对象的集合

     值的有序列表

 

find()的高级用法:

    比较操作:

$gt,语法格式(filed:{$gt:VALUE})

$gte

$lt

$lte

$ne

$in,语法格式{filed:{[<value>]}}

$nin

 

        组合条件:逻辑运算

            $or:或运算,语法格式{$or:[{<expression1>},…]}

$and:与运算

$not:非运算

$nor:反运算,返回不符指定条件的所有文档

 

        元素查询:根据文档中是否存在指定的字段进行的查询

            db.mycoll.find().limit();

            count()

            skip()

$exists:语法格式{$filed:{exists:<boolean>}}

$mod:

$type:返回指定字段的值的类型为指定类型的文档,语法格式{filed:{$type:<BSON type>}}

1.Double,2.String,3.Object,Array,Binary data, Undefined, Boolean, Data, Null, Regular Expression, JavaScript, Timestamp

 

更新操作:

     db.mycoll.update()

         $set:修改字段的值为新指定的值;语法格式({field:value},{$set:{filed:new_value}})

$unset:删除指定字段:语法格式({filed:value},{$unset:{field1,field2,…}})

$rename:更新字段名:语法格式({$rename:{oldname:newname,oldname:newname}})

$inc

  

     删除操作:

         db.mycoll.remove(<cquery>,<justOne>)

 

     删除collection:

         db.mycoll.drop()

 

     删除database

         db.dropDatabase()

         db.mycoll.drop()

 

     php+mongodb:

         php的mongodb扩展   

 

索引:

类型:B+  Tree  hash  空间索引  全文索引

 

MongoDB索引类型:

    单字段索引

    组合索引(多字段索引)

    多键索引

    空间索引

    文本索引

    Hash索引

 

MongoDB与索引相关的方法:

    db.mycoll.ensureIndex(field[,options])

        name,unique,dropDups,sparse

    db.mycoll.dropIndex(index_name)

    db.mycoll.dropIndexes()

    db.mycoll.getIndexes()

    db.mycoll.reIndex()

Mongod的常用选项:

     Fork=(true|false):mongod是否运行在后台

     Bind_ip=IP:指定监听的地址

     port=PORT:指定监听的端口

     maxConns:并发最大连接数

MongoDB的复制功能:

     两种类型:

         master/slave

             replice set:复制集、副本集

                 服务于同一数据集的多个mongodb实例

 

                 主节点将数据修改操作保存至oplog中

                     Arbiter:仲裁者

             工作特性:至少三个,且应该为奇数个节点;可以使用arbiter来参与选举;

                 Heartbeat(2s),自动失效转移(通过选举方式实现)

 

             复制集的中节点分类:

                 0优先级的节点:冷备节点,不会被选举成为主节点,但可以参与选举;

                 被隐藏从节点:首先是一个0优先 级的从节点,且对客户端不可见;

                 延迟复制的从节点:首先是一个0优先级的从节点,且复制时间落后于主节点一个固定时长;

                 Arbiter:

            MongoDB的复制架构:

                Oplog

                Heartbeat

 

                Oplog:大小固定的文件,存储在local数据库

 

                    初始同步(initial sync)

                    回滚后追赶(post-rollback catch-up)

                    切分块迁移(sharding chunk migration)

 

                   Local:存放了副本集的所有元数据和oplog;用于存储oplog的是一个名为oplog.rs的collection;

                       Oplog.rs的大小依赖于OS及文件系统;但可以自定义其大小oplogSize

 

                   Mongo的数据同步类型:

                        初始同步:节点没有任何数据时

                                  节点丢失副本复制历史

                        复制

 

                        初始同步的步骤:

  1. 克隆所有数据库
  2. 应用数据集的所有改变;复制oplog并应用于本地
  3. 为所有collection构建索引

 

                   副本集的重新选举的影响条件:

                       心跳信息

                       优先级

                       Optime:

                       网络连接

                       网络分区

 

                  选举机制:

                      触发选举的事件

                          新副本集初始化时

                          从节点联系不到主从点时

                          主节点“下台“时

                              主节点收到stepDown()命令时

                              某从节点有更高的优先级且已经满足或主节点其他所有条件

                              主节点无法联系到副本集的“多数方

MongoDB的分片:CPU   Memory   IO

MySQL:Ginzard,HiveDB,MySQL Proxy + HSACLE,Hibernate Shard,Pyshards“

 

                      分片架构中成都角色:

                          Mongos:Router

                          Config server:元数据服务器

                          Shard:数据节点,也称mongod实例

 

                          Zookeeper

 

                      基于范围切片:range

                      基于列表切片:list

                      基于hash切片:hash

    写离散,读集中

    Db.enableSharding(“testdb”)

 

    原文作者:noSql
    原文地址: https://www.cnblogs.com/holyshengjie/p/6550268.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞