#prometheus #grafana #thanos
#prometheus #grafana #танос
Вопрос:
У меня есть сервер prometheus, запрашивающий несколько хостов и запускающий thanos-sidecar, настроенный для корзины s3. Показатели выводятся без ошибок, в моем тестовом сегменте s3 я вижу их в начале середины сентября.
Запущен Thanos-сервер, который представляет собой отдельную машину:
- grafana (источник по умолчанию — thanos-локальный хост запроса: 29090)
- thanos-store (он может считывать корзину s3)
- thanos-запрос (указывает на thanos-store)
- танос-компактор как cronjob (на всякий случай, если это имеет значение: —retention.resolution-raw= 3d —retention.resolution-5m = 14d —retention.resolution-1h = 90d)
Я установил для хранения prometheus значение 3 дня. Которое должно быть значением, указывающим, когда prometheus очищает локальное хранилище.
Когда я провожу простой тест со статистикой бесперебойной работы узла-экспортера за 30 дней, отображаются только последние 3 дня истории. Grafana запрашивает thanos-запрос, который должен извлекать метрики через thanos-store из корзины s3 и показывать мне все данные в корзине
Скорее всего, я пропустил часть конфигурации в стеке.
Комментарии:
1. Не могли бы вы поделиться конфигурациями для Thanos-query и Thanos-store? Похоже, что с этими конфигурациями есть некоторые проблемы, которые не позволяют считывать данные с s3. Я бы также рекомендовал попробовать другие долгосрочные решения для удаленного хранения данных для Prometheus, такие как M3SB, Cortex или VictoriaMetrics , поскольку они могут быть проще в настройке и эксплуатации по сравнению с Thanos.
2. Настроек очень мало. В запросе thanos я вижу локальное хранилище, подключенное к s3 (в дополнение ко всем удаленным хранилищам из thanos-sideras), со всеми ярлыками, временными минутами, относящимися к месяцам истории. Тем не менее, все запросы grafana показывают только последние 3 дня (то есть сохранение prometheus), полученные через thanos-sidecar. Требуется ли какая-либо специальная конфигурация, чтобы заставить thanos фактически ИСПОЛЬЗОВАТЬ долгосрочное хранилище s3?
3. Короткий ответ на ваш вопрос в комментарии заключается в том, что вам не нужна какая-либо конкретная конфигурация. Thanos Querier должен запрашивать метрики из S3 через Thanos Store Gateway, а Grafana должна показывать все метрики. Я подозреваю, что проблема, с которой вы столкнулись, связана с проблемой конфигурации в шлюзе магазина Thanos, поэтому он не получает показатели от S3. Трудно определить проблему без каких-либо скриншотов или сведений о конфигурации. Добавьте несколько скриншотов, если вы все еще заинтересованы в решении этой проблемы.