Инструменты пользователя

Инструменты сайта


service:efk

Elasticsearch

Getting started with the Elastic Stack and Docker Compose: part 1 (git), part 2 (git).
🎞️ Install Elasticsearch + Kibana 8.x with TLS/SSL

Fluentd

https://docs.fluentd.org/configuration
https://hub.docker.com/r/fluent/fluentd/

Пользователь в контейнере: fluent:x:999:999::/home/fluent:/bin/sh
Путь по умолчанию к конфигу в контейнере: /fluentd/etc/fluent.conf, а если fluentd установлен из пакета, то /etc/fluent/fluentd.conf.

Конфиг

https://docs.fluentd.org/configuration/config-file

  • source - приёмник входящих логов, стандартные типы: forward (TCP) и http
  • match - куда направлять вывод
  • filter - обработка входящих логов
  • system - конфигурация самого fluentd
  • label - группировка match и filter для внутренней маршрутизации
  • worker - указать специфические обработчики
  • @include - включить другие конфиг-файлы

Fluent Bit

Workshops - документация в слайдах

Запустить в Podman

podman run --rm --name fb -ti ghcr.io/fluent/fluent-bit

В консоль будет падать загрузка процессора:

[0] cpu.local: [[1776869341.083043138, {}], {"cpu_p"=>0.500000, "user_p"=>0.000000, "system_p"=>0.500000, "cpu0.p_cpu"=>1.000000, "cpu0.p_user"=>0.000000, "cpu0.p_system"=>1.000000, "cpu1.p_cpu"=>2.000000, "cpu1.p_user"=>1.000000, "cpu1.p_system"=>1.000000}]
[0] cpu.local: [[1776869342.082967239, {}], {"cpu_p"=>0.000000, "user_p"=>0.000000, "system_p"=>0.000000, "cpu0.p_cpu"=>0.000000, "cpu0.p_user"=>0.000000, "cpu0.p_system"=>0.000000, "cpu1.p_cpu"=>0.000000, "cpu1.p_user"=>0.000000, "cpu1.p_system"=>0.000000}]

Конвертация в метрики Prometheus

---
service:
  flush: 1
  log_level: info

pipeline:
  inputs:
    # This entry generates a success message for the workshop.
    - name:  dummy
      tag:   event.success
      dummy: '{"message":"true 200 success"}'
 
    # This entry generates an error message for the workshop.
    - name:  dummy
      tag:   event.error
      dummy: '{"message":"false 500 error"}'
 
    # This entry collects fluent bit metrics for the workshop.
    - name: fluentbit_metrics
      tag: fb_metrics
      host: 0.0.0.0
      scrape_interval: 5s

  filters:
    - name: modify
      match: '*'
      condition:
        - Key_Value_Equals message 'true 200 success'
      remove: message
      add:
        - valid_message true
        - code 200
        - type success

    - name: modify
      match: '*'
      condition:
        - Key_Value_Equals message 'false 500 error'
      remove: message
      add: workshop_status BROKEN

  outputs:
    - name: stdout
      match: '*'
      format: json_lines
 
    # This entry directs all events matching the tag to be exposed as a
    # Prometheus endpoint on the given IP and port number while adding a few tags.
    - name: prometheus_exporter
      match: fb_metrics
      host: 0.0.0.0
      port: 9999
      # add user-defined labels
      add_label:
        - app fluent-bit
        - workshop lab4

Запуск

podman run --rm --name fb -ti -v ~/volumes/fluentbit/fb.yml:/fb.yml -p 9999:9999 -v ~/volumes/fluentbit/tmp:/tmp ghcr.io/fluent/fluent-bit fluent-bit -c /fb.yml

Затем можно зайти на http://server:9999/metrics и увидеть метрики, на которые можно натравить Prometheus. Часть метрик со страницы:

# HELP fluentbit_uptime Number of seconds that Fluent Bit has been running.
# TYPE fluentbit_uptime counter
fluentbit_uptime{app="fluent-bit",workshop="lab4",hostname="f4c1a85b5ef0"} 2799
# HELP fluentbit_hot_reloaded_times Collect the count of hot reloaded times.
# TYPE fluentbit_hot_reloaded_times counter
fluentbit_hot_reloaded_times{app="fluent-bit",workshop="lab4",hostname="f4c1a85b5ef0"} 0
# HELP fluentbit_logger_logs_total Total number of logs
# TYPE fluentbit_logger_logs_total counter
fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="error"} 0
fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="warn"} 0
fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="info"} 15
fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="debug"} 0
fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="trace"} 0

Backpressure

Backpressure - это невозможность записи новых событий в пайплайн Флюента, например, из-за нехватки памяти, проблем с сетью, тормозов/недоступности сторонних служб и т. д. Приходящие логи как бы напирают сзади, а обработаны быть не могут. По умолчанию логи пишутся в память, поэтому при такой ситуации есть риск OOM. Есть несколько способов избежать падения сервиса.

1. Добавление лимита к входящему плагину (mem_buf_limit) - это не решение проблемы, а некий костыль, препятствующий падению самого Флюента.

pipeline:
  inputs:
    # This entry generates a large amount of success messages for the workshop.
    - name: dummy
      tag: big.data
      copies: 15000
      dummy: '{"message":"true 200 success", "big_data": "blah blah blah blah blah blah blah blah"}'
      mem_buf_limit: 2MB

В логе контейнера появляются сообщения о срабатывании лимита:

{"date":1778061291.764862,"message":"true 200 success","big_data":"blah blah blah blah blah blah blah blah"}
{"date":1778061291.764863,"message":"true 200 success","big_data":"blah blah blah blah blah blah blah blah"}
{"date":1778061291.764865,"message":"true 200 success","big_data":"blah blah blah blah blah blah blah blah"}
[2026/05/06 09:55:24.783] [ warn] [input] dummy.0 paused (mem buf overlimit - event of size 1335000B exceeded limit 2000000 to 2670000B)
[2026/05/06 09:55:24.788] [ info] [input] pausing dummy.0
[2026/05/06 09:55:27.205] [ info] [input] resume dummy.0
[2026/05/06 09:55:27.205] [ info] [input] dummy.0 resume (mem buf overlimit - buf size 1335000B now below limit 2000000B)

2. Можно предписать Флюенту писать логи не в память, а на диск (изменить значение параметра storage.type со стандартного Memory на Filesystem)
:!: Буферизация в память и на файловую систему не взаимоисключающая.

Когда storage.type переключен на Filesystem, параметр mem_buf_limit начинает игнорироваться. Вместо него используется storage.max_chunks_up для контроля порций поступающих данных.

Здесь, если не не будет влазить в память, на диск будет сохраняться буфер, который будет вычитываться по мере освобождения памяти (файлы в storage.path будут появляться и удаляться).

service:
  flush: 1
  log_level: info
  storage.path: /tmp/fluentbit-storage
  storage.sync: normal
  storage.checksum: off
  storage.max_chunks_up: 5

pipeline:
  inputs:
    # This entry generates a large amount of success messages for the workshop.
    - name: dummy
      tag: big.data
      copies: 15000
      dummy: '{"message":"true 200 success", "big_data": "blah blah blah blah blah blah blah blah"}'
      storage.type: filesystem

  outputs:
    # This entry directs all tags (it matches any we encounter) to
    # print to our console.
    - name: stdout
      match: '*'
      format: json_lines

Понятное дело, используя этот механизм, не надо забывать об ограничениях файловой системы и прочих проблемах, которые могут возникнуть при использовании таких дампов на диск.

Kibana

Install Kibana with Docker
Кибана настраивается через переменные окружения соответственно параметрам в kibana.yml, с капитализацией и заменой точек на подчёркивания в параметрах:

Environment Variable Kibana Setting
SERVER_NAME server.name
SERVER_BASEPATH server.basePath
ELASTICSEARCH_HOSTS elasticsearch.hosts

и т. д.

HTTPS

# Сконвертировать исходный сторонний .pfx в .crt/.key
openssl pkcs12 -in /tmp/source.pfx -clcerts -nokeys -out /efk/certs/kibana.crt
openssl pkcs12 -in /tmp/source.pfx -nocerts -nodes -out /efk/certs/kibana.key

https://tipoit.kz/elk-install-kibana

  kibana:
    depends_on:
      es01:
        condition: service_healthy
    image: kibana:${STACK_VERSION}
    labels:
      co.elastic.logs/module: kibana
    volumes:
      - ./certs:/usr/share/kibana/config/certs
      - ./kibanadata:/usr/share/kibana/data
      - ./kibana.yml:/usr/share/kibana/config/kibana.yml:ro
    ports:
      - ${KIBANA_PORT}:5601
    environment:
      - SERVERNAME=kibana
      - ELASTICSEARCH_HOSTS=https://es01:9200
      - ELASTICSEARCH_USERNAME=kibana_system
      - ELASTICSEARCH_PASSWORD=${KIBANA_PASSWORD}
      - ELASTICSEARCH_SSL_CERTIFICATEAUTHORITIES=config/certs/ca/ca.crt
      - XPACK_SECURITY_ENCRYPTIONKEY=${ENCRYPTION_KEY}
      - XPACK_ENCRYPTEDSAVEDOBJECTS_ENCRYPTIONKEY=${ENCRYPTION_KEY}
      - XPACK_REPORTING_ENCRYPTIONKEY=${ENCRYPTION_KEY}
      - XPACK_REPORTING_KIBANASERVER_HOSTNAME=localhost
      - SERVER_SSL_ENABLED=true
      - SERVER_SSL_CERTIFICATE=config/certs/kibana/kibana.crt
      - SERVER_SSL_KEY=config/certs/kibana/kibana.key
      - SERVER_SSL_CERTIFICATEAUTHORITIES=config/certs/ca/ca.crt
    mem_limit: ${KB_MEM_LIMIT}
    healthcheck:
      test:
        [
          "CMD-SHELL",
          "curl -I -s --cacert config/certs/ca/ca.crt https://localhost:5601 | grep -q 'HTTP/1.1 302 Found'",
        ]
      interval: 10s
      timeout: 10s
      retries: 120

https://github.com/elkninja/elastic-stack-docker-part-two/blob/main/docker-compose.yml

Конфигурация

Этапы прохождения логов во Флюенте:
Source → Parser → Filter → Buffer → Routing (Output 1, Output 2 .. Output N)

Для каждого этапа есть свои плагины, т. е., для сбора из разных источников (файлы, systemd и т .п.), форматирования/дополнения/тэгирования и отправки в разные системы (например, Elasticsearch).

Литература

Docker logging: https://www.fluentd.org/guides/recipes/docker-logging
Как настроить централизованное логирование для Docker Swarm с помощью Fluentd: https://cloud.vk.com/docs/cases/cases-logs/case-swarm
Better Log Parsing with Fluentd: https://work.haufegroup.io/fluentd-log-parsing/
Docker Setup Monitoring: https://www.frederikbanke.com/docker-setup-monitoring/
Настройка централизованного логирования в Docker с применением EFK Stack: https://daffin.ru/devops/docker/efk/
Elasticsearch + Docker-compose, также см. весь канал

service/efk.txt · Последнее изменение: — viacheslav

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki