时间:2021-05-22
Django的ORM是非常好用的,哪怕不是做Web项目也值得一用,所以网上也可以找到不少使用 Django 开发非Web项目的资料,因为除了ORM之个,命令行、配置文件等组件也非常好用。
最近用这种方式开发了一个非Web项目,而且是多线程的。有N个工作线程从DB中获取jobs,并把结果写回DB。简单来说就是这样。
项目运行一段时间后,发现数据库连接耗尽了,幸好内存大,然后一直往上调,最后连接数都上九千多一万了。耗尽连接数的时候,PostgreSQL 会出现类似这样的错误:
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各种看文档、代码,找问题,其中艰难略下不表,最后大概是这么些个知识点:
最后的解决方案是找时机主动关闭数据库连接,具体到我们项目,就是每次工作线程完成一个任务后,就把它相关的连接关掉,因为我们用的是 ThreadPoolExecutor ,所以Django很容易做到这一点。
重点代码如下:
from django.db import connectionsdef on_done(future): # 因为每一个线程都有一个 connections,所以这里可以调用 close_all(),把本线程名下的所有连接关闭。 connections.close_all()def main(): # ... with ThreadPoolExecutor() as executor: while True: future = executor.submit(do, get_a_job()) future.add_done_callback(on_done)主动关闭后,数据库连接数降到与工作线程数相近,并保持稳定。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
工作中纯服务端的项目用到了线程池和django的ORM部分。django的数据库连接在每一个线程中开启一份,并在查询完毕后自动关闭连接。线程池处理任务时,正常使
Django项目默认使用sqlite数据库,但是我想用mysql数据库,应该如何配置呢。Django连接mysql数据库的操作,是通过根模块的配置实现的,在项目
一、多线程三大特性多线程有三大特性:原子性、可见性、有序性。原子性(跟数据库的事务特性中的原子性类似,数据库的原子性体现是dml语句执行后需要进行提交):理解:
记住这些理念之后,让我们来开始Django数据库层的探索。首先,我们需要做些初始配置;我们需要告诉Django使用什么数据库以及如何连接数据库。我们假定你已经完
简介Django数据库连接超过wait_timeout导致连接丢失时自动重新连接数据库https://github.com/zhanghaofe...(本地下载