Мониторинг системных метрик с помощью стека TICK в CentOS 7

Amber

6 лет назад

Стек TICK – это набор программ от разработчиков базы данных временных рядов InfluxDB. Он состоит из следующих компонентов:

Telegraf собирает данные временного ряда из разных источников.
InfluxDB хранит данные временного ряда.
Chronograf визуализирует данные временных рядов.
Kapacitor отвечает за оповещения и обнаружение аномалий в данных временных рядов.

Эти компоненты можно использовать и по отдельности, но только в связке они предоставляют масштабируемую интегрированную открытую систему для обработки временных рядов данных.

Данное руководство поможет установить и настроить стек TICK для мониторинга сервера.

Требования

Сервер CentOS 7 (руководство по начальной настройке сервера вы найдёте здесь).
Пользователь с доступом к sudo.
Настроенный брандмауэр.
Аккаунт GitHub (опционально; нужен для защиты интерфейса Chronograf).

1: Репозиторий стека TICK

Компоненты стека TICK нельзя загрузить из стандартного репозитория системы. Все компоненты TICK хранятся в репозитории Influxdata. Добавьте его на сервер.

Создайте новый файл:

sudo vi /etc/yum.repos.d/influxdata.repo

Вставьте в него:

[influxdb] name = InfluxData Repository - RHEL $releasever baseurl = https://repos.influxdata.com/rhel/$releasever/$basearch/stable enabled = 1 gpgcheck = 1 gpgkey = https://repos.influxdata.com/influxdb.key

Сохраните и закройте файл.

2: Установка InfluxDB и настройка авторизации

InfluxDB – это открытая оптимизированная база данных, которую можно использовать как высокодоступное долгосрочное хранилище данных временных рядов. InfluxDB отлично подходит для мониторинга операций и метрик приложений, а также для аналитики в реальном времени.

Чтобы установить InfluxDB, введите:

sudo yum install influxdb

Во время установки вам будет предложено импортировать GPG-ключ. Подтвердите операцию, чтобы продолжить.

После завершения установки запустите сервис InfluxDB:

sudo systemctl start influxdb

Проверьте состояние сервиса:

systemctl status influxdb

Команда должна вернуть:

influxdb.service - InfluxDB is an open-source, distributed, time series database Loaded: loaded (/usr/lib/systemd/system/influxdb.service; enabled; vendor preset: disabled) Active: active (running) since Tue 2017-02-07 13:19:31 EET; 2min 46s ago Docs: https://docs.influxdata.com/influxdb/ Main PID: 14290 (influxd)

База данных InfluxDB запущена. Теперь нужно настроить аутентификацию, чтобы ограничить доступ к данным. Создайте администратора.

Запустите консоль InfluxDB:

influx

Чтобы создать администратора, запустите следующую команду:

CREATE USER "8host" WITH PASSWORD '8host_admin' WITH ALL PRIVILEGES

Примечание: Вместо условных данных 8host и 8host_admin укажите имя и пароль своего пользователя.

Убедитесь, что пользователь был создан:

show users

Команда должна показать:

user admin ---- ----- 8host true

Закройте консоль InfluxDB:

exit

Откройте конфигурационный файл InfluxDB, /etc/influxdb/influxdb.conf, в текстовом редакторе.

sudo vi /etc/influxdb/influxdb.conf

Найдите раздел [http], раскомментируйте опцию auth-enabled и установите значение true:

... [http] # Determines whether HTTP endpoint is enabled. # enabled = true # The bind address used by the HTTP service. # bind-address = ":8086" # Determines whether HTTP authentication is enabled. auth-enabled = true ...

Сохраните и закройте файл. Перезапустите сервис InfluxDB:

sudo systemctl restart influxdb

3: Установка и настройка Telegraf

Telegraf – это открытый агент, предназначенный для сбора метрик и данных системы или сервисов. Собранные данные Telegraf передаёт в InfluxDB.

Для установки Telegraf выполните следующую команду:

sudo yum install telegraf

Telegraf использует плагины для ввода и вывода данных. Плагином вывода по умолчанию является InfluxDB. Поскольку ранее вы включили аутентификацию пользователей в IndexDB, нужно отредактировать конфигурационный файл Telegraf и указать в нём имя пользователя и пароль БД. Откройте файл Telegraf в редакторе:

sudo vi /etc/telegraf/telegraf.conf

Найдите раздел [outputs.influxdb] и введите имя пользователя и пароль IndexDB.

[[outputs.influxdb]] ## The full HTTP or UDP endpoint URL for your InfluxDB instance. ## Multiple urls can be specified as part of the same cluster, ## this means that only ONE of the urls will be written to each interval. # urls = ["udp://localhost:8089"] # UDP endpoint example urls = ["http://localhost:8086"] # required ## The target database for metrics (telegraf will create it if not exists). database = "telegraf" # required ... ## Write timeout (for the InfluxDB client), formatted as a string. ## If not provided, will default to 5s. 0s means no timeout (not recommended). timeout = "5s" username = "8host" password = "8host_admin" ## Set the user agent for HTTP POSTs (can be useful for log differentiation) # user_agent = "telegraf" ## Set UDP payload size, defaults to InfluxDB UDP Client default (512 bytes) # udp_payload = 512

Сохраните и закройте файл.

Запустите Telegraf:

sudo systemctl start telegraf

Проверьте состояние сервиса:

systemctl status telegraf

Команда должна вернуть:

telegraf.service - The plugin-driven server agent for reporting metrics into InfluxDB Loaded: loaded (/usr/lib/systemd/system/telegraf.service; enabled; vendor preset: disabled) Active: active (running) since Tue 2017-02-07 13:32:36 EET; 3min 27s ago Docs: https://github.com/influxdata/telegraf Main PID: 14412 (telegraf)

Теперь Telegraf собирает данные и записывает их в InfluxDB. Откройте консоль InfluxDB и посмотрите, какие данные Telegraf сохраняет в базе.

influx -username '8host' -password '8host_admin'

Пройдя аутентификацию, выполните команду:

show databases

В выводе вы увидите БД telegraf.

name: databases name ---- _internal telegraf

Примечание: Если в списке баз данных нет базы telegraf, проверьте настройки Telegraf и убедитесь, что вы правильно указали учётные данные InfluxDB.

Чтобы переключиться на БД telegraf, введите:

use telegraf

Запросите метрики, которые собирает Telegraf:

show measurements name: measurements name ---- cpu disk diskio kernel mem processes swap system

Как видите, агент Telegraf собрал и сохранил в этой базе данных много информации.

Существует более 60 плагинов ввода данных для Telegraf. Telegraf может собирать метрики популярных сервисов и СУБД:

Apache
Cassandra
Docker
Elasticsearch
Graylog
IPtables
MySQL
PostgreSQL
Redis
SNMP и многих других сервисов.

Чтобы добавить плагин ввода, используйте такой синтаксис:

telegraf -usage plugin-name

Закройте консоль InfluxDB:

exit

4: Установка Kapacitor

Kapacitor – это механизм обработки данных. Он позволяет подключать пользовательскую логику для обработки предупреждений с динамическими порогами, искать показатели по шаблонам и выявлять статистические аномалии. Kapacitor можно использовать для чтения данных из InfluxDB, генерации предупреждений и отправки этих предупреждений на указанный адрес электронной почты.

Чтобы установить Kapacitor, введите:

sudo yum install kapacitor

Откройте конфигурационный файл Kapacitor:

sudo vi /etc/kapacitor/kapacitor.conf

Найдите раздел [[influxdb]] и укажите в нёи имя и пароль пользователя InfluxDB.

# Multiple InfluxDB configurations can be defined. # Exactly one must be marked as the default. # Each one will be given a name and can be referenced in batch queries and InfluxDBOut nodes. [[influxdb]] # Connect to an InfluxDB cluster # Kapacitor can subscribe, query and write to this cluster. # Using InfluxDB is not required and can be disabled. enabled = true default = true name = "localhost" urls = ["http://localhost:8086"] username = "8host" password = "8host_admin" ...

Сохраните и закройте файл.

Запустите Kapacitor:

sudo systemctl daemon-reload sudo systemctl start kapacitor

Убедитесь, что Kapacitor работает. Запросите список задач:

kapacitor list tasks

Если сервис Kapacitor работает, вы увидите на экране пустой список задач:

ID Type Status Executing Databases and Retention Policies

5: Установка и настройка Chronograf

Chronograf – это приложение визуализации данных, которое позволяет строить графики на основе отслеженных данных и создавать правила оповещения и автоматизации. Chronograf поддерживает шаблоны и предоставляет библиотеку предварительно настроенных удобных дашбордов для общих наборов данных. Установите Chronograf и подключите его к другим компонентам стека.

Загрузите и установите последнюю версию:

wget https://dl.influxdata.com/chronograf/releases/chronograf-1.2.0~beta3.x86_64.rpm sudo yum localinstall chronograf-1.2.0~beta3.x86_64.rpm

Запустите сервис Chronograf:

sudo systemctl start chronograf

Примечание: Если вы включили брандмауэр FirewallD, разблокируйте порт 8888:

sudo firewall-cmd --zone=public --permanent --add-port=8888/tcp sudo firewall-cmd --reload

Читайте также: Настройка брандмауэра FirewallD в CentOS 7

Откройте в браузере интерфейс Chronograf:

http://your_server_ip:8888

Вы увидите приветственную страницу приложения:

Welcome to Chronograf

Введите имя и пароль пользователя InfluxDB, а затем нажмите Connect New Source.

После этого вы увидите список хостов. Кликните на имя хоста вашего сервера, чтобы открыть дашборд и просмотреть ряд графиков системного уровня.

Теперь нужно подключить Chronograf к Kapacitor для отправления оповещений.

Наведите курсор на последний элемент в левом меню навигации и нажмите Kapacitor, чтобы открыть страницу конфигурации.

Используйте данные подключения по умолчанию (в руководстве имя пользователя и пароль для Kapacitor не были установлены). Нажмите Connect Kapacitor. Как только Kapacitor успешно подключится, вы увидите раздел Configure Alert Endpoints.

Kapacitor поддерживает несколько конечных точек для отправки оповещений:

HipChat
OpsGenie
PagerDuty
Sensu
Slack
SMTP
Talk
Telegram
VictorOps

По умолчанию выбран самый простой способ подключения – SMTP. В поле From email укажите почтовый адрес, с которого будут отправляться оповещения, и нажмите Save. Остальные значения по умолчанию можно не менять.

6: Создание оповещений

Наведите курсор на левое меню навигации, найдите раздел ALERTING и нажмите Kapacitor Rules. Затем нажмите Create New Rule.

В первом разделе выберите временной ряд, нажав на telegraf.autogen. Затем выберите систему из появившегося списка. После этого выберите load1. Вы сразу увидите соответствующий график в следующем разделе.

Над графиком найдите поле Send Alert where load1 is Greater Than и введите 1.0.

В поле Alert Message вставьте следующий текст:

{{ .ID }} is {{ .Level }} value: {{ index .Fields "value" }}

Наведите кусор на записи в разделе Templates, чтобы получить описание каждого поля.

В выпадающем списке Send this Alert to выберите Smtp. Укажите почтовый адрес.

По умолчанию сообщения приходят в формате JSON.

{ "Name":"system", "TaskName":"chronograf-v1-50c67090-d74d-42ba-a47e-45ba7268619f", "Group":"nil", "Tags":{ "host":"centos-tick" }, "ID":"TEST:nil", "Fields":{ "value":1.25 }, "Level":"CRITICAL", "Time":"2017-03-08T12:09:30Z", "Message":"TEST:nil is CRITICAL value: 1.25" }

Вы можете настроить более удобные для восприятия сообщения, которые будут приходить на почту. Для этого введите сообщение в текстовое поле Put email body text here.

Вы можете переименовать это правило. Для этого щелкните по его имени в верхнем левом углу страницы и введите новое имя.

Нажмите Save Rule в правом верхнем углу, чтобы завершить настройку этого правила.

Чтобы протестировать новое оповещение, создайте скачок CPU. Для этого используйте команду dd, которая будет читать данные из /dev/zero и отправлять их в /dev/null.

dd if=/dev/zero of=/dev/null

Пусть команда поработает несколько минут. Это создаст скачок CPU. Чтобы остановить команду, нажмите CTRL+C.

Через некоторое время вы получите сообщение на электронную почтуЧтобы просмотреть все предупреждения, нажмите Alert history в левом меню навигации пользовательского интерфейса Chronograf.

Примечание: Убедившись, что можете получать уведомления, не забудьте остановить команду dd. Просто нажмите CTRL+C.

7: Безопасность Chronograf

По умолчанию доступ к данным может получить любой пользователь, если он знает адрес сервера, на котором работает приложение Chronograf. Такое допустимо в среде тестирования, но только не в производстве. Chronograf поддерживает аутентификацию OAuth для Google, Heroku и GitHub. Настройте аутентификацию через аккаунт GitHub.

Зарегистрируйте новое приложение в GitHub. Войдите в свою учётную запись и перейдите по этой ссылке.

Заполните форму:

Application name: Chronograf (или другое описательное имя).
Homepage URL: http://your_server_ip:8888.
Authorization callback URL: http://your_server_ip:8888/oauth/github/callback.
Нажмите Register application, чтобы сохранить параметры.
Скопируйте значения Client ID и Client Secret.

Затем откорректируйте сценарий systemd для Chronograf, чтобы включить поддержку аутентификации.

sudo vi /usr/lib/systemd/system/chronograf.service

Найдите раздел [Service] и отредактируйте строку ExecStart=:

[Service] User=chronograf Group=chronograf ExecStart=/usr/bin/chronograf --host 0.0.0.0 --port 8888 -b /var/lib/chronograf/chronograf-v1.db -c /usr/share/chronograf/canned -t 'secret_token' -i 'your_github_client_id' -s 'your_github_client_secret' -o 'your_github_organization' KillMode=control-group Restart=on-failure

secret_token требуют все провайдеры OAuth. Укажите здесь любую строку. Также нужно указать Github Client ID, Github Client Secret и Github Organization

Важно! Если вы пропустите параметр Github Organization, любой пользователь Github сможет войти в Chronograf. Создайте Github Organization и добавьте в организацию заведомо безопасных пользователей, чтобы ограничить доступ.

Сохраните файл. Перезапустите Chronograf.

sudo systemctl daemon-reload sudo systemctl restart chronograf

Откройте интерфейс Chronograf:

http://your_server_ip:8888

На приветственной странице появится кнопка Login with Github. Нажмите на неё, чтобы авторизоваться с помощью аккаунта Github.

Заключение

Стек TICK успешно установлен и полностью готов к работе. С его помощью вы можете хранить, анализировать и визуализировать данные временных рядов.

Официальную документацию TICK можно найти здесь.