(原创) 使用pymongo 3.6.0连接MongoDB的正确姿势

2019年6月9日 271次阅读 来源: mona_alwyn

0.疑惑

前两天使用pymongo连接MongoDB的时候发现了一个奇怪的现象：我本机MongoDB并没有打开，但是使用pymong.MongoClient()进行连接时，并没有异常，我的服务端也正常跑起来了，直到收到请求，进行数据库查询操作的时候，等了相当长的一段时间之后，服务端才由于MongoDB连接不上报异常。

  Note: 本机环境pymongo 3.6.0，MongoDB 3.4.6

不信？可以打开ipython，输入如下命令：

from pymongo import MongoClient
client = MongoClient('aaa', 1234)
db = client.database
task = db.task

怎么样？是不是一直ok
再执行下面这条命令呢？

task.count()

等待相当长的一段时候后报错了:

ServerSelectionTimeoutError: aaa:1234: [Errno 11001] getaddrinfo failed

如图1所示

《(原创) 使用pymongo 3.6.0连接MongoDB的正确姿势》 图1

1.解答

那这是为什么呢？
按一般的理解，MongoClient接口实现的时候肯定要考虑MongoDB连接异常的情况，只有确保连接成功建立，才能一步一步往下取database、取collection、基于collection进行增删改查操作等等。
这里为什么不呢 ？我发现了一个大BUG？不应该啊，pymongo发布使用的时间比我用Python写代码都要长，这要是bug早该解决了。
如何使用pymongo连接MongoDB，网上确实有很多很多博客，不过绝大多数都很简单，基本就我上面那几行的正确使用而已，顶多再提醒一下安装pymongo的时候不能安装第三方bson，因为pymongo自带bson，两者不匹配，讲如何进行密码验证的都很少，更别说replSet参数的使用。
终于还是在官网的API接口文档中MongoClient的解释中找到了答案：

《(原创) 使用pymongo 3.6.0连接MongoDB的正确姿势》 图2

简单翻译一下：

从pymongo3.0版本开始，MongoClient的构造函数就不会再阻塞等待MongoDB连接的建立，即使连接不上也不会上报ConnectionFailure，用户提交的资格证书（估计是用户名密码或者cert证书）是错误的也不会上报ConfigurationError。相反，构造函数会立即返回并在后台线程中加载处理连接数据的进程。如果想确认返回的client是否真实可用，可以如下操作：

# The ismaster command is cheap and does not require auth.
    client.admin.command('ismaster')

这说明至少3.0之前版本的设计和我的想法是一样的，那现在为什么换了高级玩法呢？还是不太明白

至于为什么执行命令时上报异常的时间比较长呢？

《(原创) 使用pymongo 3.6.0连接MongoDB的正确姿势》 图3

图3和图1中的时间差达到了近40s
因为两个参数：
connectTimeoutMS，连接mongo的超时机制， 默认20s
serverSelectionTimeoutMS，连接database的超时机制， 默认30s

虽然上面说过MongoClient的构造函数不再阻塞建立连接，但那个note上面还有一句话：

Note:  MongoClient creation will block waiting for answers from DNS when mongodb+srv:// URIs are used.

当使用”mongodb+srv://“形式的URI连接数据库服务器时，MongoClient将会阻塞等到DNS的域名解析结果，但同样不是数据库的连接。估计这种”mongodb+srv://“形式的URI是用来连接MongoDB去年提出的云服务吧，要不哪来的DNS解析需求呢。

2.更新汇总

简单说一下MongoClient中提到的一些更新要点：

  • 版本3.6：新增mongodb+srv://形式的URI，新增retryWrites 关键字变量和URI选项
  • 版本3.5:新增’username’和’password’两个选项。新增’authSource’、’authMechanism’、’authMechanismProperties’ 三个选项的文档。舍弃’socketKeepAlive’关键字变量和URI选项。 socketKeepAlive默认值改为True。
  • 版本3.0：”pymongo.mongo_client.MongoClient”现在是唯一的client类，应用于独立的Mongo服务器、多台Mongos、Mongo集群。它兼容了“MongoReplicaSetClient”的功能，可以连接Mongo集群、寻找集群成员等操作，后者已被弃用。
  • MongoClient的构造函数就不会再阻塞等待MongoDB连接的建立，即使连接不上也不会上报ConnectionFailure，用户提交的资格证书（估计是用户名密码或者cert证书）是错误的也不会上报ConfigurationError。相反，构造函数会立即返回并在后台线程中加载处理连接数据的进程。
  • 因此“alive”方法也弃用了，因为它不再能提供有效信息；如果服务器连接断开了，在执行下一次操作的时候异常就会被发现。
  • 在Pymongo 2.x中，MongoClient可以接受单例数据库的地址列表做参数，并自动连接第一个可用的数据库。
MongoClient(['host1.com:27017', 'host2.com:27017'])

不再支持多服务器的地址列表，如果要给列表的话，这些服务器一定要配置在同一个集群中。

  • 在mongo集群中行为不再讲究“高可用”，而是“负载均衡”。因为以前只是在连的时候优先连接最低负载的服务器，除非网络异常才会连别的，但实际上这个“最低”可能只是一时的。而在Pymongo 3.x中，改为统一监控集群网络实时负载了。
  • 新增“connect” URI选项（True立即连接，false第一个操作时才连接）
connect参数我试过并没有作用，或许在3.6版本中一并失效了吧
  • “start_request”、“in_request”、“end_request ”三个方法和“auto_start_request ”选项都被移除了。
  • “copy_database ”方法被移除了
  • MongoClient.disconnect()被移除了，它和close()一样的。
  • MongoClient不再支持以实例属性方式读取下划线开头命名的数据库属性了，必须以字典形式读取。
YES: client['__my_database__'],  NO: client.__my_database__

3.总结

  • 1）两种基本的连接方法，一种是使用keyword argument（关键字变量），另一种是MongoDB URI format（URI参数）
from pymongo import MongoClient
client = MongoClient()
# keyword argument
client = MongoClient('localhost', 27017)
# MongoDB URI
client = MongoClient('mongodb://localhost:27017/')
  • 2）用户名密码验证
    note: MongoDB 3.0（对应pymongo2.8）之后默认使用“SCRAM-SHA-1”加解密；之前使用的是“MONGODB-CR”，可以使用authMechanism指定；同时可以使用authSource指定应用加解密的database，默认是admin。
# since MongoDB 3.0， SCRAM-SHA-1
from pymongo import MongoClient
# keyword argument
client = MongoClient('example.com',
                      username='user',
                      password='password',
                      authSource='the_database',
                      authMechanism='SCRAM-SHA-1')
# MongoDB URI
uri = "mongodb://user:password@example.com/the_database?authMechanism=SCRAM-SHA-1"
 client = MongoClient(uri)
  • 3）replSet
    假设本地有如下的集群配置
config = {'_id': 'foo', 'members': [
     {'_id': 0, 'host': 'localhost:27017'},
     {'_id': 1, 'host': 'localhost:27018'},
     {'_id': 2, 'host': 'localhost:27019'}]}

可以通过replSet参数指定集群名称（_id），主库、从库等都可以读取到，这里就不细说了

>>> MongoClient('localhost', replicaset='foo')
MongoClient(host=['localhost:27017'], replicaset='foo', ...)
>>> MongoClient('localhost:27018', replicaset='foo')
MongoClient(['localhost:27018'], replicaset='foo', ...)
>>> MongoClient('localhost', 27019, replicaset='foo')
MongoClient(['localhost:27019'], replicaset='foo', ...)
>>> MongoClient('mongodb://localhost:27017,localhost:27018/?replicaSet=foo')
MongoClient(['localhost:27017', 'localhost:27018'], replicaset='foo', ...)
    1. “mongodb+srv://”
      这种形式的URL只支持一个hostname，对应DNS server，进行SRV record查询，它也支持replSet和authSource（TXT record），需要注意的是它默认使用TLS，即ssl=True。
      具体的说明还是看initial-dns-seedlist-discovery
      假设我们使用
mongodb+srv://server.mongodb.com/

而DNS server（_mongodb._tcp.server.mongodb.com）上有如下SRV record

Record                            TTL   Class    Priority Weight Port  Target
_mongodb._tcp.server.mongodb.com. 86400 IN SRV   0        5      27317 mongodb1.mongodb.com.
_mongodb._tcp.server.mongodb.com. 86400 IN SRV   0        5      27017 mongodb2.mongodb.com.

且server.mongdb.com存在如下Txt records

Record              TTL   Class    Text
server.mongodb.com. 86400 IN TXT   "replicaSet=replProduction&authSource=authDB"

那么对应解析结果就是：

mongodb://mongodb1.mongodb.com:27317,mongodb2.mongodb.com:27107/?ssl=true&replicaSet=replProduction&authSource=authDB
    1. SSL
      一堆的参数，还没有用过，自行看文档吧。

4.代码示例

此处给出一份使用pymongo3.6连接MongoDB的代码示例，分别是OPTION和URI两种方式
主要考虑集群配置和密码校验两个方面，假设配置文件如下

MONGODB = {
    'host': '127.0.0.1',
    'port': '27017',
    'user': '',
    'pwd': '',
    'db': 'test',
    'replicaSet': {
        'name': 'abc',
        "members": [
            {
                "host": "localhost",
                "port": "27017"
            },
            {
                "host": "localhost",
                "port": "27027"
            },
            {
                "host": "localhost",
                "port": "27037"
            }
        ]
    }
}

约定如下：

replicaSet的name为空则不使用集群配置
user和pwd为空则不需要进行密码校验
db不给出则默认为“admin”

则OPTION方式：

import urllib.parse

import pymongo

from config import MONGODB

if MONGODB['replicaSet']['name']:
    host_opt = []
    for m in MONGODB['replicaSet']['members']:
        host_opt.append('%s:%s' % (m['host'], m['port']))
    replicaSet = MONGODB['replicaSet']['name']
else:
    host_opt = '%s:%s' % (MONGODB['host'], MONGODB['port'])
    replicaSet = None

option = {
    'host': host_opt,
    'authSource': MONGODB['db'] or 'admin',    # 指定db,默认为'admin'
    'replicaSet': replicaSet,
}
if MONGODB['user'] and MONGODB['pwd']:
    # py2中为urllib.quote_plus
    option['username'] = urllib.parse.quote_plus(MONGODB['user'])
    option['password'] = urllib.parse.quote_plus(MONGODB['pwd'])
    option['authMechanism'] = 'SCRAM-SHA-1'

client = pymongo.MongoClient(**option)

URI方式

import urllib.parse

import pymongo

from config import MONGODB

# mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]
params = []
host_info = ''
# 处理replicaSet设置
if MONGODB['replicaSet']['name']:
    host_opt = []
    for m in MONGODB['replicaSet']['members']:
        host_opt.append('%s:%s' % (m['host'], m['port']))
    host_info = (',').join(host_opt)
    replicaSet_str = 'replicaSet=%s' % MONGODB['replicaSet']['name']
    params.append(replicaSet_str)
else:
    host_info = '%s:%s' % (MONGODB['host'], MONGODB['port'])

# 处理密码校验
if MONGODB['user'] and MONGODB['pwd']:
    # py2中为urllib.quote_plus
    username = urllib.parse.quote_plus(MONGODB['user'])
    password = urllib.parse.quote_plus(MONGODB['pwd'])
    auth_str = '%s:%s@' % (username, password)
    params.append('authMechanism=SCRAM-SHA-1')
else:
    auth_str = ''

if params:
    param_str = '?' + '&'.join(params)
else:
    param_str = ''

uri = 'mongodb://%s%s/%s%s' % (auth_str, host_info, MONGODB['db'], param_str)
client = pymongo.MongoClient(uri)

假设db中有collection名为TEST_COL，可以如下验证client的有效性：

    database = client[MONGODB['db']]
    print(database.TEST_COL.count())
    # client.run.command({'count': 'TEST_COL'})    # 需要权限
    # client.admin.command('ismaster')             # 不支持副本集环境

4.配置副本集读写分离

from pymongo import ReadPreference

db = conn.get_database(MONGODB['db'], read_preference=ReadPreference.SECONDARY_PREFERRED)

副本集ReadPreference有5个选项：

  • PRIMARY：默认选项，从primary节点读取数据
  • PRIMARY_PREFERRED：优先从primary节点读取，如果没有primary节点，则从集群中可用的secondary节点读取
  • SECONDARY：从secondary节点读取数据
  • SECONDARY_PREFERRED：优先从secondary节点读取，如果没有可用的secondary节点，则从primary节点读取
  • NEAREST：从集群中可用的节点读取数据

5. 参考

PyMongo 3.6.0 Documentation
利用python测试mongodb副本集数据同步延迟

    原文作者：mona_alwyn
    原文地址: https://www.jianshu.com/p/d9918b0a3ebc
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞