Мониторинг системных метрик с помощью стека TICK в CentOS 7

Centos, RHEL | Amber | Комментировать запись

Стек TICK – это набор программ от разработчиков базы данных временных рядов InfluxDB. Он состоит из следующих компонентов:

• Telegraf собирает данные временного ряда из разных источников.
• InfluxDB хранит данные временного ряда.
• Chronograf визуализирует данные временных рядов.
• Kapacitor отвечает за оповещения и обнаружение аномалий в данных временных рядов.

Эти компоненты можно использовать и по отдельности, но только в связке они предоставляют масштабируемую интегрированную открытую систему для обработки временных рядов данных.

Данное руководство поможет установить и настроить стек TICK для мониторинга сервера.

Требования

• Сервер CentOS 7 (руководство по начальной настройке сервера вы найдёте здесь).
• Пользователь с доступом к sudo.
• Настроенный брандмауэр.
• Аккаунт GitHub (опционально; нужен для защиты интерфейса Chronograf).

1: Репозиторий стека TICK

Компоненты стека TICK нельзя загрузить из стандартного репозитория системы. Все компоненты TICK хранятся в репозитории Influxdata. Добавьте его на сервер.

Создайте новый файл:

sudo vi /etc/yum.repos.d/influxdata.repo

Вставьте в него:

[influxdb] name = InfluxData Repository - RHEL $releasever
baseurl = https://repos.influxdata.com/rhel/$releasever/$basearch/stable
enabled = 1
gpgcheck = 1
gpgkey = https://repos.influxdata.com/influxdb.key

Сохраните и закройте файл.

2: Установка InfluxDB и настройка авторизации

InfluxDB – это открытая оптимизированная база данных, которую можно использовать как высокодоступное долгосрочное хранилище данных временных рядов. InfluxDB отлично подходит для мониторинга операций и метрик приложений, а также для аналитики в реальном времени.

Чтобы установить InfluxDB, введите:

sudo yum install influxdb

Во время установки вам будет предложено импортировать GPG-ключ. Подтвердите операцию, чтобы продолжить.

После завершения установки запустите сервис InfluxDB:

sudo systemctl start influxdb

Проверьте состояние сервиса:

systemctl status influxdb

Команда должна вернуть:

influxdb.service - InfluxDB is an open-source, distributed, time series database
Loaded: loaded (/usr/lib/systemd/system/influxdb.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2017-02-07 13:19:31 EET; 2min 46s ago
Docs: https://docs.influxdata.com/influxdb/
Main PID: 14290 (influxd)

База данных InfluxDB запущена. Теперь нужно настроить аутентификацию, чтобы ограничить доступ к данным. Создайте администратора.

Запустите консоль InfluxDB:

influx

Чтобы создать администратора, запустите следующую команду:

CREATE USER "8host" WITH PASSWORD '8host_admin' WITH ALL PRIVILEGES

Примечание: Вместо условных данных 8host и 8host_admin укажите имя и пароль своего пользователя.

Убедитесь, что пользователь был создан:

show users

Команда должна показать:

user  admin
----  -----
8host true

Закройте консоль InfluxDB:

exit

Откройте конфигурационный файл InfluxDB, /etc/influxdb/influxdb.conf, в текстовом редакторе.

sudo vi /etc/influxdb/influxdb.conf

Найдите раздел [http], раскомментируйте опцию auth-enabled и установите значение true:

...
[http] # Determines whether HTTP endpoint is enabled.
# enabled = true
# The bind address used by the HTTP service.
# bind-address = ":8086"
# Determines whether HTTP authentication is enabled.
auth-enabled = true
...

Сохраните и закройте файл. Перезапустите сервис InfluxDB:

sudo systemctl restart influxdb

3: Установка и настройка Telegraf

Telegraf – это открытый агент, предназначенный для сбора метрик и данных системы или сервисов. Собранные данные Telegraf передаёт в InfluxDB.

Для установки Telegraf выполните следующую команду:

sudo yum install telegraf

Telegraf использует плагины для ввода и вывода данных. Плагином вывода по умолчанию является InfluxDB. Поскольку ранее вы включили аутентификацию пользователей в IndexDB, нужно отредактировать конфигурационный файл Telegraf и указать в нём имя пользователя и пароль БД. Откройте файл Telegraf в редакторе:

sudo vi /etc/telegraf/telegraf.conf

Найдите раздел [outputs.influxdb] и введите имя пользователя и пароль IndexDB.

[[outputs.influxdb]] ## The full HTTP or UDP endpoint URL for your InfluxDB instance.
## Multiple urls can be specified as part of the same cluster,
## this means that only ONE of the urls will be written to each interval.
# urls = ["udp://localhost:8089"] # UDP endpoint example
urls = ["http://localhost:8086"] # required
## The target database for metrics (telegraf will create it if not exists).
database = "telegraf" # required
...
## Write timeout (for the InfluxDB client), formatted as a string.
## If not provided, will default to 5s. 0s means no timeout (not recommended).
timeout = "5s"
username = "8host"
password = "8host_admin"
## Set the user agent for HTTP POSTs (can be useful for log differentiation)
# user_agent = "telegraf"
## Set UDP payload size, defaults to InfluxDB UDP Client default (512 bytes)
# udp_payload = 512

Сохраните и закройте файл.

Запустите Telegraf:

sudo systemctl start telegraf

Проверьте состояние сервиса:

systemctl status telegraf

Команда должна вернуть:

telegraf.service - The plugin-driven server agent for reporting metrics into InfluxDB
Loaded: loaded (/usr/lib/systemd/system/telegraf.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2017-02-07 13:32:36 EET; 3min 27s ago
Docs: https://github.com/influxdata/telegraf
Main PID: 14412 (telegraf)

Теперь Telegraf собирает данные и записывает их в InfluxDB. Откройте консоль InfluxDB и посмотрите, какие данные Telegraf сохраняет в базе.

influx -username '8host' -password '8host_admin'

Пройдя аутентификацию, выполните команду:

show databases

В выводе вы увидите БД telegraf.

name: databases
name
----
_internal
telegraf

Примечание: Если в списке баз данных нет базы telegraf, проверьте настройки Telegraf и убедитесь, что вы правильно указали учётные данные InfluxDB.

Чтобы переключиться на БД telegraf, введите:

use telegraf

Запросите метрики, которые собирает Telegraf:

show measurements
name: measurements
name
----
cpu
disk
diskio
kernel
mem
processes
swap
system

Как видите, агент Telegraf собрал и сохранил в этой базе данных много информации.

Существует более 60 плагинов ввода данных для Telegraf. Telegraf может собирать метрики популярных сервисов и СУБД:

• Apache
• Cassandra
• Docker
• Elasticsearch
• Graylog
• IPtables
• MySQL
• PostgreSQL
• Redis
• SNMP и многих других сервисов.

Чтобы добавить плагин ввода, используйте такой синтаксис:

telegraf -usage plugin-name

Закройте консоль InfluxDB:

exit

4: Установка Kapacitor

Kapacitor – это механизм обработки данных. Он позволяет подключать пользовательскую логику для обработки предупреждений с динамическими порогами, искать показатели по шаблонам и выявлять статистические аномалии. Kapacitor можно использовать для чтения данных из InfluxDB, генерации предупреждений и отправки этих предупреждений на указанный адрес электронной почты.

Чтобы установить Kapacitor, введите:

sudo yum install kapacitor

Откройте конфигурационный файл Kapacitor:

sudo vi /etc/kapacitor/kapacitor.conf

Найдите раздел [[influxdb]] и укажите в нёи имя и пароль пользователя InfluxDB.

# Multiple InfluxDB configurations can be defined.
# Exactly one must be marked as the default.
# Each one will be given a name and can be referenced in batch queries and InfluxDBOut nodes.
[[influxdb]] # Connect to an InfluxDB cluster
# Kapacitor can subscribe, query and write to this cluster.
# Using InfluxDB is not required and can be disabled.
enabled = true
default = true
name = "localhost"
urls = ["http://localhost:8086"] username = "8host"
password = "8host_admin"
...

Сохраните и закройте файл.

Запустите Kapacitor:

sudo systemctl daemon-reload
sudo systemctl start kapacitor

Убедитесь, что Kapacitor работает. Запросите список задач:

kapacitor list tasks

Если сервис Kapacitor работает, вы увидите на экране пустой список задач:

ID                            Type      Status    Executing Databases and Retention Policies

5: Установка и настройка Chronograf

Chronograf – это приложение визуализации данных, которое позволяет строить графики на основе отслеженных данных и создавать правила оповещения и автоматизации. Chronograf поддерживает шаблоны и предоставляет библиотеку предварительно настроенных удобных дашбордов для общих наборов данных. Установите Chronograf и подключите его к другим компонентам стека.

Загрузите и установите последнюю версию:

wget https://dl.influxdata.com/chronograf/releases/chronograf-1.2.0~beta3.x86_64.rpm
sudo yum localinstall chronograf-1.2.0~beta3.x86_64.rpm

Запустите сервис Chronograf:

sudo systemctl start chronograf

Примечание: Если вы включили брандмауэр FirewallD, разблокируйте порт 8888:

sudo firewall-cmd --zone=public --permanent --add-port=8888/tcp
sudo firewall-cmd --reload

Читайте также: Настройка брандмауэра FirewallD в CentOS 7

Откройте в браузере интерфейс Chronograf:

http://your_server_ip:8888

Вы увидите приветственную страницу приложения:

Welcome to Chronograf

Введите имя и пароль пользователя InfluxDB, а затем нажмите Connect New Source.

После этого вы увидите список хостов. Кликните на имя хоста вашего сервера, чтобы открыть дашборд и просмотреть ряд графиков системного уровня.

Теперь нужно подключить Chronograf к Kapacitor для отправления оповещений.

Наведите курсор на последний элемент в левом меню навигации и нажмите Kapacitor, чтобы открыть страницу конфигурации.

Используйте данные подключения по умолчанию (в руководстве имя пользователя и пароль для Kapacitor не были установлены). Нажмите Connect Kapacitor. Как только Kapacitor успешно подключится, вы увидите раздел Configure Alert Endpoints.

Kapacitor поддерживает несколько конечных точек для отправки оповещений:

• HipChat
• OpsGenie
• PagerDuty
• Sensu
• Slack
• SMTP
• Talk
• Telegram
• VictorOps

По умолчанию выбран самый простой способ подключения – SMTP. В поле From email укажите почтовый адрес, с которого будут отправляться оповещения, и нажмите Save. Остальные значения по умолчанию можно не менять.

6: Создание оповещений

Наведите курсор на левое меню навигации, найдите раздел ALERTING и нажмите Kapacitor Rules. Затем нажмите Create New Rule.

В первом разделе выберите временной ряд, нажав на telegraf.autogen. Затем выберите систему из появившегося списка. После этого выберите load1. Вы сразу увидите соответствующий график в следующем разделе.

Над графиком найдите поле Send Alert where load1 is Greater Than и введите 1.0.

В поле Alert Message вставьте следующий текст:

{{ .ID }} is {{ .Level }} value: {{ index .Fields "value" }}

Наведите кусор на записи в разделе Templates, чтобы получить описание каждого поля.

В выпадающем списке Send this Alert to выберите Smtp. Укажите почтовый адрес.

По умолчанию сообщения приходят в формате JSON.

{
"Name":"system",
"TaskName":"chronograf-v1-50c67090-d74d-42ba-a47e-45ba7268619f",
"Group":"nil",
"Tags":{
"host":"centos-tick"
},
"ID":"TEST:nil",
"Fields":{
"value":1.25
},
"Level":"CRITICAL",
"Time":"2017-03-08T12:09:30Z",
"Message":"TEST:nil is CRITICAL value: 1.25"
}

Вы можете настроить более удобные для восприятия сообщения, которые будут приходить на почту. Для этого введите сообщение в текстовое поле Put email body text here.

Вы можете переименовать это правило. Для этого щелкните по его имени в верхнем левом углу страницы и введите новое имя.

Нажмите Save Rule в правом верхнем углу, чтобы завершить настройку этого правила.

Чтобы протестировать новое оповещение, создайте скачок CPU. Для этого используйте команду dd, которая будет читать данные из /dev/zero и отправлять их в /dev/null.

dd if=/dev/zero of=/dev/null

Пусть команда поработает несколько минут. Это создаст скачок CPU. Чтобы остановить команду, нажмите CTRL+C.

Через некоторое время вы получите сообщение на электронную почтуЧтобы просмотреть все предупреждения, нажмите Alert history в левом меню навигации пользовательского интерфейса Chronograf.

Примечание: Убедившись, что можете получать уведомления, не забудьте остановить команду dd. Просто нажмите CTRL+C.

7: Безопасность Chronograf

По умолчанию доступ к данным может получить любой пользователь, если он знает адрес сервера, на котором работает приложение Chronograf. Такое допустимо в среде тестирования, но только не в производстве. Chronograf поддерживает аутентификацию OAuth для Google, Heroku и GitHub. Настройте аутентификацию через аккаунт GitHub.

Зарегистрируйте новое приложение в GitHub. Войдите в свою учётную запись и перейдите по этой ссылке.

Заполните форму:

• Application name: Chronograf (или другое описательное имя).
• Homepage URL:  http://your_server_ip:8888.
• Authorization callback URL: http://your_server_ip:8888/oauth/github/callback.
• Нажмите Register application, чтобы сохранить параметры.
• Скопируйте значения Client ID и Client Secret.

Затем откорректируйте сценарий systemd для Chronograf, чтобы включить поддержку аутентификации.

sudo vi /usr/lib/systemd/system/chronograf.service

Найдите раздел [Service] и отредактируйте строку ExecStart=:

[Service] User=chronograf
Group=chronograf
ExecStart=/usr/bin/chronograf --host 0.0.0.0 --port 8888 -b /var/lib/chronograf/chronograf-v1.db -c /usr/share/chronograf/canned -t 'secret_token' -i 'your_github_client_id' -s 'your_github_client_secret' -o 'your_github_organization'
KillMode=control-group
Restart=on-failure

secret_token требуют все провайдеры OAuth. Укажите здесь любую строку. Также нужно указать Github Client ID, Github Client Secret и Github Organization

Важно! Если вы пропустите параметр Github Organization, любой пользователь Github сможет войти в Chronograf. Создайте Github Organization и добавьте в организацию заведомо безопасных пользователей, чтобы ограничить доступ.

Сохраните файл. Перезапустите Chronograf.

sudo systemctl daemon-reload
sudo systemctl restart chronograf

Откройте интерфейс Chronograf:

http://your_server_ip:8888

На приветственной странице появится кнопка Login with Github. Нажмите на неё, чтобы авторизоваться с помощью аккаунта Github.

Заключение

Стек TICK успешно установлен и полностью готов к работе. С его помощью вы можете хранить, анализировать и визуализировать данные временных рядов.

Официальную документацию TICK можно найти здесь.