DjangoCelery异步任务队列的实现-创新互联

背景

在开发中，我们常常会遇到一些耗时任务，举个例子：

上传并解析一个 1w 条数据的 Excel 文件，最后持久化至数据库。

在我的程序中，这个任务耗时大约 6s，对于用户来说，6s 的等待已经是个灾难了。

比较好的处理方式是：

1. 接收这个任务的请求
2. 将这个任务添加到队列中
3. 立即返回「操作成功，正在后台处理」的字样
4. 后台消费这个队列，执行这个任务

我们按照这个思路，借助 Celery 进行实现。

实现

本文所使用的环境如下：

• Python 3.6.7
• RabbitMQ 3.8
• Celery 4.3

使用 Docker 安装 RabbitMQ

Celery 依赖一个消息后端，可选方案有 RabbitMQ, Redis 等，本文选用 RabbitMQ 。

同时为了安装方便，RabbitMQ 我直接使用 Docker 安装：

docker run -d --name anno-rabbit -p 5672:5672 rabbitmq:3

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。