Основные узлы Kubernetes в автономном режиме GKE (несколько кластеров и проектов)

#kubernetes #google-kubernetes-engine

Вопрос:

Сегодня утром мы заметили, что все кластеры Kubernetes во всех проектах (2 проекта, 2 кластера на проект) показали недоступность / ОШИБКУ в облачной консоли Google. Панель мониторинга не показывает текущих проблем: https://status.cloud.google.com /

В основном похоже, что основные узлы не работают, API не отвечает, и кластеры нельзя редактировать в пользовательском интерфейсе. До выходных все было запущено, и, по крайней мере, со вчерашнего вечера все они отображаются красным цветом.

К счастью, развернутые службы отвечают, но мы никак не можем управлять кластером. Я тоже сообщил об этом здесь:

https://issuetracker.google.com/issues/172841082

Кто-нибудь еще сталкивался с этим и есть ли какой-либо способ перезапустить или запустить перезапуск главного узла? Я не могу редактировать кластер, поэтому обновление также невозможно. Я читал в другом месте, что только люди SRE из Google могут (повторно) запускать их. Я не понимаю, как это может произойти.

Кстати, для автоматического восстановления установлено значение включено, и я перешел на страницу устранения неполадок, в основном со всеми путями, ведущими к: главный узел отключен, ничего не нужно делать. Любая помощь будет с благодарностью принята или просто SRE, выполняющий действие start node ;).

1. Когда все происходит таким образом, если нет сбоев, наиболее вероятным виновником может быть выставление счетов. Пожалуйста, проверьте, в порядке ли выставление счетов, и проверьте, были ли отправлены электронные письма в этом отношении.

2. Вышесказанное можно легко проверить, попытавшись создать фиктивную виртуальную машину на Compute engine. Если вы не можете создать виртуальную машину, значит, вы знаете, что ваша проблема не является строго GKE.

Ответ №1:

Спасибо @dany L, это действительно была проблема с выставлением счетов. Я удивлен, что в облачной консоли нет ничего похожего на сообщение, и нужно специально перейти к биллингу, чтобы узнать об этом. После исправления выставления счетов потребовалось несколько минут, прежде чем кластеры стали доступны, затем все вернулось к нормальному состоянию.