初始化具有不同值的不同Celery Workers

Question

我正在使用celery在Hadoop上运行长时间运行的任务。每个任务都会在Hadoop上执行Pig脚本，该脚本运行大约30分钟-2小时。

我当前的Hadoop设置有4个队列a，b，c和默认队列。当前，所有任务都由一个工人执行，该工人将作业提交到单个队列中。

我想再添加3个将作业提交到其他队列的工作程序，每个队列一个工作程序。

问题是队列当前是硬编码的，我希望为每个工作人员设置此变量。

我进行了很多搜索，但无法找到一种方法来传递每个Celery Workers不同的队列值并在任务中访问它。

我像这样开始我的Celery Workers。

celery -A app.celery worker

我希望在命令行本身中传递一些其他参数，并在我的任务中访问它，但是celery抱怨它不理解我的自定义参数。

我计划通过设置–concurrency=3参数在同一主机上运行所有工作线程。有什么解决办法吗？

当前场景是这样的。我每次尝试执行任务print_something时都说tasks.print_something.delay()只打印队列C。

@celery.task()
def print_something():
    print "C"

我需要让工人根据我在启动时传递给他们的值来打印可变字母。

@celery.task()
def print_something():
    print "<Variable Value Per Worker Here>"

Answer 1

我通常要做的是，在另一个脚本（例如manage.py）中启动工作程序（未执行任务）后，我添加带有参数的命令以启动特定任务或具有不同参数的任务。

在manager.py中：

from tasks import some_task

@click.command
def run_task(params):
    some_task.apply_async(params)

这将根据需要启动任务。