python – py-postgresql多线程问题

2019年8月4日 199次阅读

我发现在重载下我的金字塔网络应用程序抛出

py-
postgresql异常,如postgresql.exceptions.ProtocolError.

一些搜索显示,py-postgresql不是线程安全的

连接不能同时被多个线程使用.

我尝试制作某种池化机制,但我仍然可以
ProtocolErrors 🙁

我究竟做错了什么？

首先,我创建了多个连接对象：

    for x in range(num_db_connections):
        self.pool.append(Connection(conn_string,x))

池中的每个对象都包含db_lock = threading.Lock()和与数据库self.conn = postgresql.open(conn_string)的连接

然后我尝试获取连接上的锁并使用它做一些工作.
这段代码可以同时由多个线程执行,但我认为不行
由于两个线程可以同时在一个连接上运行
锁.

    time_start = time.time()
    while time.time() - time_start < self.max_db_lock_wait_time:
        for conn in self.pool:
            acquired = conn.db_lock.acquire(False)
            if acquired:
                try:
                        lst = conn.work()
                finally:
                    conn.db_lock.release()
                return lst
        time.sleep(0.05)
    raise Exception('Could not get connection lock in time')

也许我的代码存在缺陷,或者我误解了它的本质
py-postgresql的“线程不安全”？
请帮我！

最佳答案 你确定你没有在锁外使用光标对象吗？

只是一个建议：不使用time.sleep()和“尝试”锁定,而是使用队列从/向池中弹出/推送连接对象.这已经是线程安全的,它有一个超时参数.更有效.特别是如果你有很多线程和几个连接. (当你需要运行10万个查询时,那些微小的睡眠指令会加起来.所有这些都会增加你的响应时间.)

点赞