Python使用Beanstalkd做异步任务处理的方法
5页1、Python 使用 Beanstalkd 做异步任务处理的方法使用 Beanstalkd 作为消息队列服务,然后结合 Python 的装饰器语法实现一个简单的异步任务处理工具.最终效果定义任务:from xxxxx.job_queue import JobQueuequeue = JobQueue() queue.task(task_tube_one) def task_one(arg1, arg2, arg3): # do task提交任务:task_one.put(arg1=“a“, arg2=“b“, arg3=“c“)然后就可以由后台的 work 线程去执行这些任务了。实现过程1、了解 Beanstalk ServerBeanstalk is a simple, fast work queue. https:/ 是一个 C 语言实现的消息队列服务。 它提供了通用的接口,最初设计的目的是通过异步运行耗时的任务来减少大量 Web 应用程序中的页面延迟。针对不同的语言,有不同的 Beanstalkd Client 实现。 Python 里就有 beanstalkc 等。我就是利用 b
2、eanstalkc 来作为与 beanstalkd server 通信的工具。2、任务异步执行实现原理beanstalkd 只能进行字符串的任务调度。为了让程序支持提交函数和参数,然后由 woker 执行函数并携带参数。需要一个中间层来将函数与传递的参数注册。实现主要包括 3 个部分:Subscriber: 负责将函数注册到 beanstalk 的一个 tube 上,实现很简单,注册函数名和函数本身的对应关系。(也就意味着同一个分组(tube)下不能有相同函数名存在)。数据存储在类变量里。class Subscriber(object): FUN_MAP = defaultdict(dict) def _init_(self, func, tube): logger.info(register func: to tube:.format(func._name_, tube)Subscriber.FUN_MAPtubefunc._name_ = funcJobQueue: 方便将一个普通函数转换为具有 Putter 能力的装饰器class JobQueue(object): classm
3、ethod def task(cls, tube): def wrapper(func): Subscriber(func, tube) return Putter(func, tube) return wrapperPutter: 将函数名、函数参数、指定的分组组合为一个对象,然后 json 序列化为字符串,最后通过 beanstalkc 推送到 beanstalkd 队列。class Putter(object): def _init_(self, func, tube): self.func = funcself.tube = tube # 直接调用返回 def _call_(self, *args, *kwargs): return self.func(*args, *kwargs) # 推给离线队列 def put(self, *kwargs): args = func_name: self.func._name_, tube: self.tube, kwargs: kwargslogger.info(put job: to queue.format(args)beansta
4、lk = beanstalkc.Connection(host=BEANSTALK_CONFIGhost, port=BEANSTALK_CONFIGport) try:beanstalk.use(self.tube)job_id = beanstalk.put(json.dumps(args) return job_id finally:beanstalk.close()Worker: 从 beanstalkd 队列中取出字符串,然后通过 json.loads 反序列化为对象,获得 函数名、参数和 tube。最后从 Subscriber 中获得 函数名对应的函数代码,然后传递参数执行函数。class Worker(object): worker_id = 0 def _init_(self, tubes): self.beanstalk = beanstalkc.Connection(host=BEANSTALK_CONFIGhost, port=BEANSTALK_CONFIGport)self.tubes = tubesself.reserve_timeout = 20 self
《Python使用Beanstalkd做异步任务处理的方法》由会员m****分享,可在线阅读,更多相关《Python使用Beanstalkd做异步任务处理的方法》请在金锄头文库上搜索。
DB2发生死锁情况时应该怎么处理
Python 为何能成最强编程语言
面试前必须要知道的Redis面试
MySQL下自动删除指定时间以前的记录的操作方法
深入理解FastCGI协议以及在PHP中的实现
MySQL数据库性能优化之硬件瓶颈分析
NoSQL数据库大全收集整理
2018 – 2019 年前端 JavaScript 面试题
PHP文件包含漏洞的形式总结
5种使用Python代码轻松实现数据可视化的方法
改进JavaScript和Bust的互操作性:深入认识wasm-bindgen组件
C#图片缩放平移从功能分析到编码实现
详解网络蜘蛛的安全隐患及预防方法
利用NAP解除安全隐患自动隐藏你的IP地址
解决分布式数据库和离线网络中原子性问题的新方法
bbed恢复数据遇到延迟块清除的问题
Oracle Data Redaction数据加密
linux下du和df结果不一致的原因及处理
基于QMP实现对qemu虚拟机进行交互
解读Java并发队列BlockingQueue
2023-09-09 59页
2023-08-28 1页
2023-08-27 18页
2023-08-27 7页
2023-08-27 6页
2023-08-27 6页
2023-08-27 8页
2023-08-23 6页
2023-08-23 3页
2023-08-23 20页