使用 Google Pub/Sub¶

安装¶

要支持 Google Pub/Sub，您需要安装额外的依赖项。您可以使用 celery[gcpubsub] 一次性安装 Celery 和这些依赖项：

uvpip

uv add "celery[gcpubsub]"

pip install "celery[gcpubsub]"

您必须在代理 URL 中指定 gcpubsub 和 Google 项目：

broker_url = 'gcpubsub://projects/project-id'

URL 格式为：

gcpubsub://projects/project-id

请注意，您必须在 URL 中为 project-id 添加 projects/ 前缀。

登录凭据将是您在环境中设置的常规 GCP 凭据。

默认设置旨在尽可能简单、经济高效且直观，以便"开箱即用"。Pub/Sub 消息和订阅设置为 24 小时后过期，可以通过配置 expiration_seconds 设置来调整：

expiration_seconds = 86400

ack_deadline_seconds 定义了 Pub/Sub 基础设施在将消息重新传递给另一个工作器之前，应等待工作器确认任务的秒数。

此选项通过 broker_transport_options 设置进行配置：

broker_transport_options = {'ack_deadline_seconds': 60}  # 1 分钟。

默认的可见性超时为 240 秒，工作器会自动延长其所有待处理消息的确认时间。

轮询间隔决定了在轮询失败之间休眠的秒数。此值可以是整数或浮点数。默认值为 0.1 秒。但这并不意味着当没有更多消息可读时，工作器会每 0.1 秒轰炸 Pub/Sub API，因为它会被对 Pub/Sub API 的阻塞调用所阻塞，该调用只会在有新消息可读或 10 秒后返回。

轮询间隔可以通过 broker_transport_options 设置进行配置：

broker_transport_options = {'polling_interval': 0.3}

非常频繁的轮询间隔可能导致忙循环，导致工作器使用大量 CPU 时间。如果您需要亚毫秒级的精度，应考虑使用其他传输方式，如 RabbitMQ 或 Redis。

默认情况下，Celery 会为队列名称分配 kombu- 前缀。如果您有其他使用 Pub/Sub 的服务，可以通过 broker_transport_options 设置进行配置：

broker_transport_options = {'queue_name_prefix': 'kombu-'}

Google Cloud Storage (GCS) 可能是存储结果的一个不错的选择。。