Kafka: 5. GitLab CI

本文件是GitHub Actions 与 GitLab CI指南的一部分。您可以在这里查看完整指南:通过您的 GitHub Actions 或 GitLab CI pipeline 启动一个真实的 Kafka 服务,运行测试并自动销毁

👋 欢迎来到 Stackhero 文档!

Stackhero 为您提供全托管的 Kafka cloud 环境,几分钟内即可就绪。您可以期待以下优势:

  • 消息大小与传输无限制:让您的数据无惧扩展,无需担心上限。
  • 一键式简单更新:无需停机或手动操作,轻松保持平台最新。
  • 在您专属的私有、专用基础设施上,持续享有高性能与强大安全性

如果您希望加快部署速度并减少运维负担,Stackhero 的 Kafka cloud hosting 能为您提供帮助。大约 5 分钟即可拥有可用于生产环境的集群。

您可以将以下配置保存为 .gitlab-ci.yml。每次 pipeline 运行时,都会为测试启动一个全新的真实 Kafka 实例。

test:
  image: ubuntu:24.04
  variables:
    STACK_NAME: "ci-kafka-$CI_PIPELINE_ID-$CI_JOB_ID"
    INSTANCE: "10G"   # 如有需要可修改(见第 3 步)
    REGION: "europe"
    SERVICE_STORE: "kafka"
  # STACKHERO_TOKEN 来源于第 1 步创建的 CI/CD 变量。
  script:
    - set -euo pipefail
    - curl -fsSL https://www.stackhero.io/install.sh | sh
    - apt-get update && apt-get install -y --no-install-recommends jq curl netcat-openbsd
    - STACK_ID=$(stackhero --format=script stack-create --name="$STACK_NAME")
    - echo "STACK_ID=$STACK_ID" >> deploy.env
    - SERVICE_ID=$(stackhero --format=script service-add --stack="$STACK_ID" --service-store="$SERVICE_STORE" --instance="$INSTANCE" --region="$REGION")
    - echo "SERVICE_ID=$SERVICE_ID" >> deploy.env
    - stackhero service-wait-for --service="$SERVICE_ID"
    - config=$(stackhero service-configuration-get --service="$SERVICE_ID" --format=json)
    - host=$(echo "$config" | jq -r '.configuration.domain')
    # Open a TCP connection to the broker port.
    - nc -z -w 5 "$host" 9092
    - echo "✅ Kafka 已可从 CI 访问。"
    # 您也可以在此处使用上述凭证运行自定义测试套件 ...
  after_script:
    - test -f deploy.env && . ./deploy.env || true
    - >
      if [ -n "${SERVICE_ID:-}" ]; then
        stackhero service-delete --service="$SERVICE_ID" --confirm
        stackhero service-wait-for --service="$SERVICE_ID"
      fi
    - >
      if [ -n "${STACK_ID:-}" ]; then
        stackhero stack-delete --stack="$STACK_ID" --confirm
      fi

在 GitLab 中,资源清理通过 after_script 实现。该部分无论作业是否失败都会执行,确保您的 Kafka 资源被及时移除,避免产生不必要的费用。

在 GitLab 中,after_script 会在一个全新 shell中运行。为此,脚本会在作业期间将服务和 stack 的 ID 写入 deploy.env,清理前再重新加载。这样即使作业中途失败,也能确保资源被正确清理。

这就是 Kafka 的完整 CI 生命周期:创建 stack、添加服务、等待、获取凭证、smoke test,并始终进行资源清理。每次 pipeline 运行都能获得一个真实、隔离的服务,流程结束后不会有任何资源遗留。如需了解更多可用命令及非交互式 STACKHERO_TOKEN 认证方式,欢迎查阅 完整 CLI 文档