通过 DaemonSet 方式采集容器文本日志或容器标准输出时，您可以通过 Pod 环境变量方式创建采集配置。本文档演示通过 DaemonSet-Pod 环境变量方式创建日志采集配置的操作步骤。

背景信息

日志服务支持通过 DaemonSet 方式采集容器日志，同时支持通过 Pod 环境变量方式创建采集配置。

• 通过 DaemonSet 方式采集容器日志时，支持采集容器的标准输出和容器文本日志，资源占用相对较少，配置灵活。
• 通过 Pod 环境变量方式创建采集配置的操作简单便捷。

此外，LogCollector 采集容器日志时，支持单行、多行等多种采集配置，除各种采集配置默认附加的预留字段之外，日志服务还会对 LogCollector 采集到的容器日志添加以下预留字段，并默认为其创建索引。
容器文本日志的预留字段：

容器标准输出的预留字段：

前提条件

• 已在 Kubernetes 集群中安装了 LogCollector。相关操作步骤请参考 安装 LogCollector（DaemonSet 方式）
• 已在 Kubernetes 集群中安装了 LogCollector CRD。相关操作步骤请参考安装 LogCollector CRD。

限制说明

• 采集容器标准输出时：
  • Docker 容器引擎仅支持 JSON 类型的日志驱动。
  • 如果某些容器匹配了多个采集配置，那么在该容器上仅最新的采集配置生效。
• 采集容器内日志文件时：
  • 容器内日志文件的采集路径目前仅支持不挂载、emptyDir 挂载和 hostPath 挂载 3 种方式。
  • 采集路径不支持设置为软链接，因为 LogCollector 无法访问容器内日志文件的软链接，请按照容器内日志文件的真实路径配置采集路径。
• 在容器停止之后，LogCollector 会收到该容器的 stop 事件，并随即停止采集该容器的日志。如果 LogCollector 采集该容器的日志有一定延迟，则容器停止之前产生的部分日志可能未被采集。
• LogCollector 支持的容器引擎包括 Docker 和 Containerd。不同类型容器引擎的访问路径限制如下：
  • Docker：LogCollector 通过宿主机的 /run/docker.sock 访问 Docker 容器引擎，请确保该路径存在且 LogCollector 具备访问权限。
  • Containerd：LogCollector 通过宿主机的 /run/containerd/containerd.sock 访问 Containerd 容器引擎，请确保该路径存在且 LogCollector 具备访问权限。

Pod 环境变量说明

您可以在创建应用时，通过配置 Pod 环境变量来创建日志服务资源，然后采集容器标准输出或者容器文本日志。
其中，Pod 环境变量的参数需要根据业务需求自行制定，参数说明如下：

- name: volc_logs_demo_project
   value: doc-demo

- name: volc_logs_demo_topic
   value: pod-log

- name: volc_logs_demo_ttl
   value: 90

- name: volc_logs_demo_shard
   value: 4

- name: volc_logs_demo_shardautosplit
   value: True

- name: volc_logs_demo_maxshard
   value: 5

- name: volc_logs_demo_tags
   value: app=demo

配置示例

采集容器标准输出

您可以在创建应用时，通过配置 Pod 环境变量来采集容器标准输出。
以创建无状态负载为例，Pod 环境变量配置示例如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: log-app-demo
  namespace: default
spec: 
  replicas: 1
  selector: 
    matchLabels: 
      app: nginx
  template: 
    metadata: 
      labels: 
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:latest
          ports:
            - containerPort: 80
          env: 
            - name: volc_logs_demo # 采集规则的名字是demo，并且采集容器标准输出
              value: stdout
            - name: volc_logs_demo_project # 日志项目的名字是doc-demo
              value: doc-demo
            - name: volc_logs_demo_topic # 日志主题的名字是pod-log
              value: pod-log

采集容器内日志文件

您可以在创建应用时，通过配置 Pod 环境变量来采集容器内日志文件。
以创建无状态负载为例，Pod 环境变量配置示例如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: log-app-demo
  namespace: default
spec: 
  replicas: 1
  selector: 
    matchLabels: 
      app: nginx
  template: 
    metadata: 
      labels: 
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:latest
          ports:
            - containerPort: 80
          env: 
            - name: volc_logs_demo # 采集规则名称为demo，并且采集容器内日志文件。
              value: /var/log/nginx/access.log
            - name: volc_logs_demo_project # 日志项目名称为 doc-demo。
              value: doc-demo
            - name: volc_logs_demo_topic # 日志主题名称为 pod-log。
              value: pod-log

Pod 环境变量支持来自 ConfigMap 或者 Secret 挂载

Pod 环境变量来自 ConfigMap 挂载

• 当 Pod 环境变量来自 ConfigMap 挂载时，如果 Pod 环境变量设置了 prefix，那么 Pod 环境变量配置示例如下：

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: log-app-demo
    namespace: default
  spec: 
    replicas: 1
    selector: 
      matchLabels: 
        app: nginx
    template: 
      metadata: 
        labels: 
          app: nginx
      spec:
        containers:
          - name: nginx
            image: nginx:latest
            ports:
              - containerPort: 80
            envFrom:
              - configMapRef:
                  name: nginx-deployment-configmap
                  optional: false
                prefix: volc_logs_           
  ---
  apiVersion: v1
  kind: ConfigMap
  metadata:
    name: nginx-deployment-configmap
    namespace: default
  data:
    logs-demo: stdout
    logs-demo_project: doc-demo
    logs-demo_topic: pod-log
  

• 当 Pod 环境变量来自 ConfigMap 挂载，如果 Pod 环境变量没有设置 prefix，那么 Pod 环境变量配置示例如下：

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: log-app-demo
    namespace: default
  spec: 
    replicas: 1
    selector: 
      matchLabels: 
        app: nginx
    template: 
      metadata: 
        labels: 
          app: nginx
      spec:
        containers:
          - name: nginx
            image: nginx:latest
            ports:
              - containerPort: 80
            envFrom:
              - configMapRef:
                  name: nginx-deployment-configmap
                  optional: false          
  ---
  apiVersion: v1
  kind: ConfigMap
  metadata:
    name: nginx-deployment-configmap
    namespace: default
  data:
    volc_logs_logs-demo: stdout
    volc_logs_logs-demo_project: doc-demo
    volc_logs_logs-demo_topic: pod-log
  

Pod 环境变量来自 Secret 挂载

• 当 Pod 环境变量来自 Secret 挂载，如果 Pod 环境变量设置了 prefix，那么 Pod 环境变量配置示例如下：

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: log-app-demo
    namespace: default
  spec: 
    replicas: 1
    selector: 
      matchLabels: 
        app: nginx
    template: 
      metadata: 
        labels: 
          app: nginx
      spec: 
        containers:
          - name: nginx
            image: nginx:latest
            ports:
              - containerPort: 80
            envFrom:
              - secretRef:
                  name: nginx-deployment-secret
                  optional: false
                prefix: volc_logs_   
       
  ---
  apiVersion: v1
  kind: Secret
  metadata:
    name: nginx-deployment-secret
    namespace: default
  type: Opaque
  data:
    logs-demo: c3Rkb3V0 // base64编码的stdout
    logs-demo_project: ZG9jLWRlbW8= // base64编码的doc-demo
    logs-demo_topic: cG9kLWxvZw== // base64编码的pod-log
  

• 当 Pod 环境变量来自 Secret 挂载，如果 Pod 环境变量没有设置 prefix，那么 Pod 环境变量配置示例如下：

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: log-app-demo
    namespace: default
  spec: 
    replicas: 1
    selector: 
      matchLabels: 
        app: nginx
    template: 
      metadata: 
        labels: 
          app: nginx
      spec:
        containers:
          - name: nginx
            image: nginx:latest
            ports:
              - containerPort: 80
            envFrom:
              - secretRef:
                  name: nginx-deployment-secret
                  optional: false        
  ---
  apiVersion: v1
  kind: Secret
  metadata:
    name: nginx-deployment-secret
    namespace: default
  type: Opaque
  data:
    volc_logs_logs-demo: c3Rkb3V0 // base64编码的stdout
    volc_logs_logs-demo_project: ZG9jLWRlbW8= // base64编码的doc-demo
    volc_logs_logs-demo_topic: cG9kLWxvZw== // base64编码的pod-log
  

后续步骤

• 创建采集配置之后，LogCollector 会根据指定规则开始监听容器内日志文件或容器标准输出并采集日志，日志数据将保存在指定的日志主题中。
• 日志索引默认为关闭状态，您需要为日志主题开启索引功能，并配置索引，才能在控制台中对采集到的日志数据进行查询分析。