Rancher 部署 DataKit 最佳实践

简介Rancher 是一款开源的企业级管理 Kube.NETes 集群的平台,为了简化 DataKit 在 Kubernetes 集群中的部署,DataKit 支持在 Rancher 平台的应用市场中部署,另外 DataKit 也提供了使用 Git 仓库管理采集器配置文件的功能 。使用 Rancher 部署 DataKit 并结合 Git 管理采集器配置,是 Kubernetes 集群部署 DataKit 的一个最佳部署方式 。通过 DaemonSet 方式部署 DataKit,默认已经开通了 Container 采集器,为了更灵活的配置 Container 采集器,本文采用自定义的方式开通 Container 采集器,即把 container.conf 文件通过 Git 仓库来管理,然后通过 Rancher 的应用市场来部署 DataKit,最后查看采集的指标来验证 Git 仓库中的采集器配置是否生效 。
前置条件

  • 安装 Kubernetes 1.18+ 。
  • 安装 Rancher,并有操作 Kubernetes 集群的权限 。
  • 安装 Gitlab 。
  • 安装 Helm 3.0+
环境版本本次示例使用版本如下,DataKit 版本不同,配置可能存在差异 。
  • Kubernetes 1.22.6
  • Rancher 2.6.3
  • Gitlab 14.9.4
  • DataKit 1.4.5
操作步骤步骤 1:创建 dk-config 代码仓库登录『Gitlab』,点击 Create blank project 。
Rancher 部署 DataKit 最佳实践

文章插图
 
Project name 输入 datakit-conf,点击『Create Project』 。
Rancher 部署 DataKit 最佳实践

文章插图
 
进入 dk-config 项目,新建 container.conf 文件,内容如下,container 开启了指标采集,关闭所有镜像的 stdout 日志采集 。
[inputs.container]Docker_endpoint = "unix:///var/run/docker.sock"containerd_address = "/var/run/containerd/containerd.sock"enable_container_metric = trueenable_k8s_metric = trueenable_pod_metric = true## Containers logs to include and exclude, default collect all containers. Globs accepted.container_include_log = []container_exclude_log = ["image:*"]exclude_pause_container = true## Removes ANSI escape codes from text stringslogging_remove_ansi_escape_codes = falsekubernetes_url = "https://kubernetes.default:443"## Authorization level:##bearer_token -> bearer_token_string -> TLS## Use bearer token for authorization. ('bearer_token' takes priority)## linux at:/run/secrets/kubernetes.io/serviceaccount/token## windows at: C:varrunsecretskubernetes.ioserviceaccounttokenbearer_token = "/run/secrets/kubernetes.io/serviceaccount/token"# bearer_token_string = "<your-token-string>"[inputs.container.tags]# some_tag = "some_value"# more_tag = "some_other_value"
Rancher 部署 DataKit 最佳实践

文章插图
 
然后点击 Clone -> Clone with HTTP,获取 git 地址是 http://120.26.37.252/root/dk-config.git
步骤 2:创建命名空间为方便管理,DataKit 安装到 datakit 命名空间 。登录『Rancher』-> 『集群』-> 『项目/命名空间』,点击『创建命名空间』 。
Rancher 部署 DataKit 最佳实践

文章插图
 
步骤 3:添加 Chart 仓库登录『Rancher』-> 『集群』-> 『应用市场』-> 『Chart 仓库』,点击『创建』 。名称输入 datakit,URL 输入 https://pubrepo.guance.com/chartrepo/datakit,点击『创建』 。
Rancher 部署 DataKit 最佳实践

文章插图
 
步骤 4:部署 DataKit登录『Rancher』-> 『集群』-> 『应用市场』-> 『Charts』, 选择 datakit,出现下图带 DataKit 的图标,点击进去 。
Rancher 部署 DataKit 最佳实践


推荐阅读