Содержание
Elasticsearch
Getting started with the Elastic Stack and Docker Compose: part 1 (git), part 2 (git).
🎞️ Install Elasticsearch + Kibana 8.x with TLS/SSL
Fluentd
https://docs.fluentd.org/configuration
https://hub.docker.com/r/fluent/fluentd/
Пользователь в контейнере: fluent:x:999:999::/home/fluent:/bin/sh
Путь по умолчанию к конфигу в контейнере: /fluentd/etc/fluent.conf, а если fluentd установлен из пакета, то /etc/fluent/fluentd.conf.
Конфиг
https://docs.fluentd.org/configuration/config-file
- source - приёмник входящих логов, стандартные типы: forward (TCP) и http
- match - куда направлять вывод
- filter - обработка входящих логов
- system - конфигурация самого fluentd
- label - группировка match и filter для внутренней маршрутизации
- worker - указать специфические обработчики
- @include - включить другие конфиг-файлы
Fluent Bit
Workshops - документация в слайдах
podman run --rm --name fb -ti ghcr.io/fluent/fluent-bit
В консоль будет падать загрузка процессора:
[0] cpu.local: [[1776869341.083043138, {}], {"cpu_p"=>0.500000, "user_p"=>0.000000, "system_p"=>0.500000, "cpu0.p_cpu"=>1.000000, "cpu0.p_user"=>0.000000, "cpu0.p_system"=>1.000000, "cpu1.p_cpu"=>2.000000, "cpu1.p_user"=>1.000000, "cpu1.p_system"=>1.000000}]
[0] cpu.local: [[1776869342.082967239, {}], {"cpu_p"=>0.000000, "user_p"=>0.000000, "system_p"=>0.000000, "cpu0.p_cpu"=>0.000000, "cpu0.p_user"=>0.000000, "cpu0.p_system"=>0.000000, "cpu1.p_cpu"=>0.000000, "cpu1.p_user"=>0.000000, "cpu1.p_system"=>0.000000}]
Конвертация в метрики Prometheus
--- service: flush: 1 log_level: info pipeline: inputs: # This entry generates a success message for the workshop. - name: dummy tag: event.success dummy: '{"message":"true 200 success"}' # This entry generates an error message for the workshop. - name: dummy tag: event.error dummy: '{"message":"false 500 error"}' # This entry collects fluent bit metrics for the workshop. - name: fluentbit_metrics tag: fb_metrics host: 0.0.0.0 scrape_interval: 5s filters: - name: modify match: '*' condition: - Key_Value_Equals message 'true 200 success' remove: message add: - valid_message true - code 200 - type success - name: modify match: '*' condition: - Key_Value_Equals message 'false 500 error' remove: message add: workshop_status BROKEN outputs: - name: stdout match: '*' format: json_lines # This entry directs all events matching the tag to be exposed as a # Prometheus endpoint on the given IP and port number while adding a few tags. - name: prometheus_exporter match: fb_metrics host: 0.0.0.0 port: 9999 # add user-defined labels add_label: - app fluent-bit - workshop lab4
Запуск
podman run --rm --name fb -ti -v ~/volumes/fluentbit/fb.yml:/fb.yml -p 9999:9999 -v ~/volumes/fluentbit/tmp:/tmp ghcr.io/fluent/fluent-bit fluent-bit -c /fb.yml
Затем можно зайти на http://server:9999/metrics и увидеть метрики, на которые можно натравить Prometheus. Часть метрик со страницы:
# HELP fluentbit_uptime Number of seconds that Fluent Bit has been running. # TYPE fluentbit_uptime counter fluentbit_uptime{app="fluent-bit",workshop="lab4",hostname="f4c1a85b5ef0"} 2799 # HELP fluentbit_hot_reloaded_times Collect the count of hot reloaded times. # TYPE fluentbit_hot_reloaded_times counter fluentbit_hot_reloaded_times{app="fluent-bit",workshop="lab4",hostname="f4c1a85b5ef0"} 0 # HELP fluentbit_logger_logs_total Total number of logs # TYPE fluentbit_logger_logs_total counter fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="error"} 0 fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="warn"} 0 fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="info"} 15 fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="debug"} 0 fluentbit_logger_logs_total{app="fluent-bit",workshop="lab4",message_type="trace"} 0
Backpressure
Backpressure - это невозможность записи новых событий в пайплайн Флюента, например, из-за нехватки памяти, проблем с сетью, тормозов/недоступности сторонних служб и т. д. Приходящие логи как бы напирают сзади, а обработаны быть не могут. По умолчанию логи пишутся в память, поэтому при такой ситуации есть риск OOM. Есть несколько способов избежать падения сервиса.
1. Добавление лимита к входящему плагину (mem_buf_limit) - это не решение проблемы, а некий костыль, препятствующий падению самого Флюента.
pipeline: inputs: # This entry generates a large amount of success messages for the workshop. - name: dummy tag: big.data copies: 15000 dummy: '{"message":"true 200 success", "big_data": "blah blah blah blah blah blah blah blah"}' mem_buf_limit: 2MB
В логе контейнера появляются сообщения о срабатывании лимита:
{"date":1778061291.764862,"message":"true 200 success","big_data":"blah blah blah blah blah blah blah blah"}
{"date":1778061291.764863,"message":"true 200 success","big_data":"blah blah blah blah blah blah blah blah"}
{"date":1778061291.764865,"message":"true 200 success","big_data":"blah blah blah blah blah blah blah blah"}
[2026/05/06 09:55:24.783] [ warn] [input] dummy.0 paused (mem buf overlimit - event of size 1335000B exceeded limit 2000000 to 2670000B)
[2026/05/06 09:55:24.788] [ info] [input] pausing dummy.0
[2026/05/06 09:55:27.205] [ info] [input] resume dummy.0
[2026/05/06 09:55:27.205] [ info] [input] dummy.0 resume (mem buf overlimit - buf size 1335000B now below limit 2000000B)
2. Можно предписать Флюенту писать логи не в память, а на диск (изменить значение параметра storage.type со стандартного Memory на Filesystem)
Буферизация в память и на файловую систему не взаимоисключающая.
Когда storage.type переключен на Filesystem, параметр mem_buf_limit начинает игнорироваться. Вместо него используется storage.max_chunks_up для контроля порций поступающих данных.
Здесь, если не не будет влазить в память, на диск будет сохраняться буфер, который будет вычитываться по мере освобождения памяти (файлы в storage.path будут появляться и удаляться).
service: flush: 1 log_level: info storage.path: /tmp/fluentbit-storage storage.sync: normal storage.checksum: off storage.max_chunks_up: 5 pipeline: inputs: # This entry generates a large amount of success messages for the workshop. - name: dummy tag: big.data copies: 15000 dummy: '{"message":"true 200 success", "big_data": "blah blah blah blah blah blah blah blah"}' storage.type: filesystem outputs: # This entry directs all tags (it matches any we encounter) to # print to our console. - name: stdout match: '*' format: json_lines
Понятное дело, используя этот механизм, не надо забывать об ограничениях файловой системы и прочих проблемах, которые могут возникнуть при использовании таких дампов на диск.
Kibana
Install Kibana with Docker
Кибана настраивается через переменные окружения соответственно параметрам в kibana.yml, с капитализацией и заменой точек на подчёркивания в параметрах:
| Environment Variable | Kibana Setting |
|---|---|
| SERVER_NAME | server.name |
| SERVER_BASEPATH | server.basePath |
| ELASTICSEARCH_HOSTS | elasticsearch.hosts |
и т. д.
HTTPS
# Сконвертировать исходный сторонний .pfx в .crt/.key openssl pkcs12 -in /tmp/source.pfx -clcerts -nokeys -out /efk/certs/kibana.crt openssl pkcs12 -in /tmp/source.pfx -nocerts -nodes -out /efk/certs/kibana.key
https://tipoit.kz/elk-install-kibana
kibana: depends_on: es01: condition: service_healthy image: kibana:${STACK_VERSION} labels: co.elastic.logs/module: kibana volumes: - ./certs:/usr/share/kibana/config/certs - ./kibanadata:/usr/share/kibana/data - ./kibana.yml:/usr/share/kibana/config/kibana.yml:ro ports: - ${KIBANA_PORT}:5601 environment: - SERVERNAME=kibana - ELASTICSEARCH_HOSTS=https://es01:9200 - ELASTICSEARCH_USERNAME=kibana_system - ELASTICSEARCH_PASSWORD=${KIBANA_PASSWORD} - ELASTICSEARCH_SSL_CERTIFICATEAUTHORITIES=config/certs/ca/ca.crt - XPACK_SECURITY_ENCRYPTIONKEY=${ENCRYPTION_KEY} - XPACK_ENCRYPTEDSAVEDOBJECTS_ENCRYPTIONKEY=${ENCRYPTION_KEY} - XPACK_REPORTING_ENCRYPTIONKEY=${ENCRYPTION_KEY} - XPACK_REPORTING_KIBANASERVER_HOSTNAME=localhost - SERVER_SSL_ENABLED=true - SERVER_SSL_CERTIFICATE=config/certs/kibana/kibana.crt - SERVER_SSL_KEY=config/certs/kibana/kibana.key - SERVER_SSL_CERTIFICATEAUTHORITIES=config/certs/ca/ca.crt mem_limit: ${KB_MEM_LIMIT} healthcheck: test: [ "CMD-SHELL", "curl -I -s --cacert config/certs/ca/ca.crt https://localhost:5601 | grep -q 'HTTP/1.1 302 Found'", ] interval: 10s timeout: 10s retries: 120
https://github.com/elkninja/elastic-stack-docker-part-two/blob/main/docker-compose.yml
Конфигурация
Этапы прохождения логов во Флюенте:
Source → Parser → Filter → Buffer → Routing (Output 1, Output 2 .. Output N)
Для каждого этапа есть свои плагины, т. е., для сбора из разных источников (файлы, systemd и т .п.), форматирования/дополнения/тэгирования и отправки в разные системы (например, Elasticsearch).
Литература
Docker logging: https://www.fluentd.org/guides/recipes/docker-logging
Как настроить централизованное логирование для Docker Swarm с помощью Fluentd: https://cloud.vk.com/docs/cases/cases-logs/case-swarm
Better Log Parsing with Fluentd: https://work.haufegroup.io/fluentd-log-parsing/
Docker Setup Monitoring: https://www.frederikbanke.com/docker-setup-monitoring/
Настройка централизованного логирования в Docker с применением EFK Stack: https://daffin.ru/devops/docker/efk/
Elasticsearch + Docker-compose, также см. весь канал
