教程：如何在本地进行higress调试和端到端测试_博客-Higress官网
铭师堂的云原生升级实践点此了解
文档
插件
企业版 Higress
博客
社区
社区 报告文档问题 贡献社区 贡献者
资源 博客 电子书
Higress case

API赋能AI，AI网关零代码解决AI幻觉问题

阅读文章
Higress case

Higress 发布 v1.4，开放 AI 网关能力，增强云原生能力

阅读文章
联系我们
GitHub
钉钉
开发者
控制台样例
答疑样例
中文

教程：如何在本地进行higress调试和端到端测试

SJC

发布时间 2023-12-19

背景说明

本地调试

本地调试旨在在开发者的本地开发环境中识别、定位和修复代码中的错误（bug）。这个阶段的主要目标是确保单个模块或组件的正确性，以便更容易理解和解决问题。

开发者通常使用本地集成开发环境（IDE）或调试器来逐步执行代码、查看变量的值、观察程序的流程，并通过打断点来检查代码的执行过程。

本地调试是一个快速、迅速定位问题并进行修复的阶段，能够提供实时的反馈。它有助于确保代码的局部正确性，而不需要考虑整个系统的交互。

端到端测试

e2e测试是一种端到端的测试，是一种全面的测试方法，用于验证整个软件系统在真实环境中的功能和性能。它模拟用户的实际使用情况，确保整个系统的各个部分正确协同工作，以达到用户期望的功能。

端到端测试关注整个系统的集成和交互，旨在发现不同组件之间的问题以及在实际使用场景中可能出现的 bug。这有助于确保系统在生产环境中的稳定性和可靠性。

在higress中，e2e测试的主要流程可用下图来表示：

img.png

弊端

  • 在本地开发的过程中，我们需要频繁的进行e2e测试，但是每次都要重新构建镜像、加载镜像、安装higress、运行e2e测试，这样的过程非常耗时，因此我们希望尽量地减少这些过程，复用测试环境以提高开发效率。

  • 当e2e运行的时候出现问题，我们希望能够快速定位问题，这就需要在e2e测试中实现本地调试的功能。

  • 另外，通常开发wasm插件的时候是不需要重新构建镜像的，只需要复用测试环境即可。然而，当涉及到higress-core组件代码(higress核心代码)修改的时候，就需要重新构建镜像，频繁地修改代码、重新构建镜像以运行e2e测试，这样开发效率就会大大降低。

解决方案

  • 不涉及higress-core组件修改

可分为端到端测试的优化和在端到端测试中实现本地调试的功能，端到端优化可采用实现测试环境复用的方法，通过修改makefile文件来减少环境的创建等开销。

而在端到端测试中实现本地调试的功能，可通过Goland来实现，提前准备好测试环境，修改e2e测试的部分代码来减少e2e环境创建的开销，更加方便的实现debug功能。

  • 涉及higress-core组件修改

可在本地启动higress-core组件，并使其能够与kind集群中的discovery、gateway等组件进行交互。

例如在涉及到higress-config的ConfigMap修改的时候，其流程大致如下：

img.png

可以发现，只需要修改higress-core容器与discovery容器之间的xds协议通信地址，使其能够与本地的higress-core容器进行交互，其是注册在grpc服务上的，因此只需要修改xds地址为本地的grpc服务地址即可。

具体实现

端到端测试优化

通过makefile来完成，包含启动系列环境和执行e2e测试。

以运行插件测试为例，其make命令如下：

.PHONY: higress-wasmplugin-test
higress-wasmplugin-test: $(tools/kind) delete-cluster create-cluster docker-build kube-load-image install-dev-wasmplugin run-higress-e2e-test-wasmplugin delete-cluster

开发者首次运行环境可先删除最后一个delete-cluster的操作，第二次运行e2e测试的时候可以删除前面的操作，只保留run-higress-e2e-test-wasmplugin的操作，这样就可以减少很多时间。

然而make命令不支持添加到goland里面实现debug功能，运行出错的时候也不方便定位问题，更推荐使用下面这个方法。

在e2e中实现本地调试

通过Goland来完成，提前准备好环境，修改Goland启动参数来完成本地调试。

  • e2e测试之前的准备

根据各自的需求来定制环境，如果测试环境中需要用到higress的controller、gateway等组件，需要提前本地安装好环境，安装教程可参考这里，或者参考端到端测试优化步骤来准备好测试环境。

安装好higress后，可以使用如下命令来查看higress的pod是否正常运行：

Terminal window
kubectl get pods --all-namespaces

显示结果如下图所示：

1.png

都显示Running状态，说明higress已经正常运行。

  • e2e的flag修改

在test/e2e/conformance/utils/flags目录下，有一个flags.go文件，里面定义了e2e测试的flag：

var (
    IngressClassName     = flag.String("ingress-class", "higress", "Name of IngressClass to use for tests")
    ShowDebug            = flag.Bool("debug", false, "Whether to print debug logs")
    CleanupBaseResources = flag.Bool("cleanup-base-resources", true, "Whether to cleanup base test resources after the run")
    SupportedFeatures    = flag.String("supported-features", "", "Supported features included in conformance tests suites")
    ExemptFeatures       = flag.String("exempt-features", "", "Exempt Features excluded from conformance tests suites")
    IsWasmPluginTest     = flag.Bool("isWasmPluginTest", false, "Determine if run wasm plugin conformance test")
    WasmPluginType       = flag.String("wasmPluginType", "GO", "Define wasm plugin type, currently supports GO, CPP")
    WasmPluginName       = flag.String("wasmPluginName", "", "Define wasm plugin name")
    IsEnvoyConfigTest    = flag.Bool("isEnvoyConfigTest", false, "Determine if run envoy config conformance test")
)

可临时修改这些flag的初始值，也可以在Goland编辑器中定义启动参数，例如设置IsWasmPluginTest为true可只运行wasm插件的e2e测试。

修改好flag之后，我们就可以在Goland中通过debug的方式运行e2e测试。可先在如下位置添加一个断点，等待e2e环境准备完毕：

2.png

e2e测试在前期环境准备的过程中会创建一些namespace并启动一些pod，可以手动查看一下pod的启动情况。

img.png

在这张图里面，除了我们提前安装好的higress组件之外，还有一些其他的pod，这些pod是e2e测试过程中创建的，如果有些pod在本地e2e测试中用不到，可手动修改代码来减少前期环境的准备时间。

注意：如果设置了cleanup-base-resources为false，那么e2e测试结束之后，这些pod不会被删除，但是重启的时候会报错，例如：

Pod "consul-standlone" is invalid: spec: Forbidden: pod updates may not change fields other than `spec.containers[*].image`, `spec.initContainers[*].image`, `spec.activeDeadlineSeconds`, `spec.tolerations` (only additions to existing tolerations) or `spec.terminationGracePeriodSeconds` (allow it to be set to 1 if it was previously negative)

建议设置为true，每次测试完需要等待pod的销毁，然后重新测试，这些过程一般很快，也可以修改代码来减少一些pod的创建。

  • e2e测试环境优化

例如只需要higress环境，而不需要higress-conformance-infra,higress-conformance-app-backend等namespace环境，可以手动在如下几行代码里添加注释，来跳过这些环境的创建，然后测试中只用到了higress的组件：

img.png

在这里，我只需要运行EnvoyConfigTracing的Test测试，它只跟higress和higress-conformance-infra有关，注释掉了其他namespace的准备环境，可以看到e2e测试不到1s就结束了。

如果需要其他namespace的环境，而不需要nacos/consul等环境，可以在suite的New方法里找到以下代码块，根据需要进行注释：

// apply defaults
if suite.BaseManifests == nil {
  suite.BaseManifests = []string{
    "base/manifests.yaml",
    "base/consul.yaml",
    "base/eureka.yaml",
    "base/nacos.yaml",
    "base/dubbo.yaml",
  }
}

解决好e2e测试的环境相关问题，我们就可以在Goland里添加自己想要的断点，来debug测试用例了。

higress-core本地调试+e2e测试

  • 首先在本地启动higress-core组件，需要修改其启动参数，与正常部署的启动参数保持一致，可参考如下配置Goland的启动参数：

img.png

  • 查找自己的本机非回环网卡的ip地址，例如我使用wlo0网卡，也就是192.168.0.189

img.png

  • 修改xds协议地址，运行kubectl edit cm higress-config -n higress-system，将其修改本地的grpc服务地址，如图：

img.png

将其中的127.0.0.1:15051修改为192.168.0.189:15051，保存退出。

  • 重启controller和gateway deployment，使其能够重新加载配置:
Terminal window
kubectl rollout restart deployment higress-gateway -n higress-system
Terminal window
kubectl rollout restart deployment higress-controller -n higress-system

img.png

  • 重启成功后可以先运行一下简单的e2e测试，比如http route等，测试是否能正常连通gateway，关于ConfigMap部分，我这里给本地higress-core添加了一个global-option的配置，此时kind的core组件还没有该配置，按照前面步骤启动本地higress-core并修改xds地址重启负载之后，运行相关的e2e测试，可以看到测试通过，本地higress-core日志以及kind上的discovery日志如下：

img.png

通过本地higress-core日志可以看到ads成功推送出去envoyfilter配置文件给discovery，而discovery日志则显示lds/rds/cds等成功将配置文件推送给gateway。

hgctl code-debug的使用

hgctl已经推出code-debug的功能，会自动修改xds地址，使其能够与本地的higress-core进行交互。这里需要使用hgctl来安装higress，目前code-debug只支持local-k8s的profile。

  • hgctl安装higress
Terminal window
hgctl install --set profile=local-k8s

等待安装完成后，手动查看一下是否启动成功。

  • 启动本地higress-core

修改Goland启动参数为serve --kubeconfig=/root/.kube/config(改为自己的home目录)，然后启动higress-core，等待higress-core启动成功。

  • 开启code-debug
Terminal window
hgctl code-debug start

查看controller和gateway的pod是否重启成功，如果重启成功，说明code-debug已经生效。

  • 其他环境准备

在后面的步骤上涉及到Ingress资源，这里需要准备一下Ingress资源，运行如下命令：

Terminal window
kubectl apply -f - <<EOF
apiVersion: v1
kind: Namespace
metadata:
  name: higress-conformance-infra
  labels:
    higress-conformance: infra
---
apiVersion: v1
kind: Service
metadata:
  name: infra-backend-v1
  namespace: higress-conformance-infra
spec:
  selector:
    app: infra-backend-v1
  ports:
    - protocol: TCP
      port: 8080
      targetPort: 3000
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: infra-backend-v1
  namespace: higress-conformance-infra
  labels:
    app: infra-backend-v1
spec:
  replicas: 2
  selector:
    matchLabels:
      app: infra-backend-v1
  template:
    metadata:
      labels:
        app: infra-backend-v1
    spec:
      containers:
      - name: infra-backend-v1
        # From https://github.com/kubernetes-sigs/ingress-controller-conformance/tree/master/images/echoserver
        image: higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/echoserver:v20221109-7ee2f3e
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        resources:
          requests:
            cpu: 10m
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: higress-conformance-infra-configmap-global-test
  namespace: higress-conformance-infra
spec:
  ingressClassName: higress
  rules:
    - host: "foo.com"
      http:
        paths:
          - pathType: Prefix
            path: "/foo"
            backend:
              service:
                name: infra-backend-v1
                port:
                  number: 8080
EOF
  • 调试higress-core

以ConfigMap的gzip(位于pkg/ingress/kube/configmap/gzip.go)为例，修改NewDefaultGzip方法，将Enable的默认值修改为true，然后重启higress-core。

在重启之前，先运行如下shell命令，启动envoy查看面板：

Terminal window
hgctl dashboard envoy

访问http://localhost:15000/config_dump，使用Ctrl+F搜索`compression_level`，可以看到查找结果为空，说明gzip配置还没有生效。

接下来重启higress-core，等待higress-core重启成功，再次访问http://localhost:15000/config_dump，使用Ctrl+F搜索`compression_level`，可以看到查找结果不为空，说明gzip配置已经生效。

  • 关闭code-debug
Terminal window
hgctl code-debug stop

总结

  1. 本地调试和e2e测试是开发过程中必不可少的环节，通过本文的介绍，我们可以更加方便的进行本地调试和e2e测试，提高开发效率。
  2. 涉及到higress-core组件修改的时候，我们可以通过修改xds地址并本地启动higress-core，而不需要频繁地修改代码、重新构建镜像以运行e2e测试，并且还能调试higress-core组件的代码。
  3. higress后续会推出一些新功能，实现e2e测试的拆分，主要会分为准备环境，运行测试以及清除环境等，灵活性更高。