Arc включил кубернетес — Посланник проигрывает ? сертификат ? после перезапуска кластера и сброса обратного соединения на прослушивателях

#azure #kubernetes #automatic-ref-counting

Вопрос:

Связано с моим первоначальным вопросом (больше журналов и команды установки там) https://github.com/envoyproxy/envoy/issues/17484

Сценарий установки: https://pastebin.com/igCc5KwR

 connect error or disconnect/reset before headers. reset reason: connection failure, transport failure reason: TLS error: CERTIFICATE_VERIFY_FAILED
 

после первого развертывания, перед перезапуском кластера
введите описание изображения здесь

через несколько минут после перезапуска кластера, когда «что-то» синхронизируется введите описание изображения здесь

ПРОБЛЕМА В том, что вы развертываете k8 с поддержкой arc, подключаете местоположение, включаете расширение, все работает нормально, вы можете получить доступ к своему сервису приложений по URL-адресу, приятно! Затем вы перезапускаете кластер, модули создаются заново, и в течение нескольких минут все прерывается. Основываясь на моих наблюдениях, либо

  • приложение-контроллер синхронизирует (или не синхронизирует) сертификат/токен с Azure,
  • ИЛИ у посланника возникли проблемы с установкой сертификатов XDR, предоставляемых модулем службы приложений (они имеют общий объем)
  • ИЛИ, может быть, токен учетной записи службы не обновляется?

Наверное, так как мне непонятно, чего не хватает, я подумал, что это какой-то секрет, но не уловил ни одного… но это странно

«посланник»,»msg»:»ошибка чтения сертификата по умолчанию»,»ошибка»:»140261821150336:ошибка:0D06B08E:asn1 процедуры кодирования:asn1_d2i_read_bio:недостаточно данных

На Arc есть небольшие документы :/ для открытого проекта я хотел бы увидеть исходные диаграммы руля, я заметил, что вы храните их в секрете кластера, но мне не удалось расшифровать, есть какие-либо предложения?

 kubectl get secret sh.helm.release.v1.appservice-ext-node1-v1.v3   --namespace appservice-ns-node1-v1  -o=jsonpath={.data.release}   |base64 -d > /tmp/helm.base
 

Почему посланник выдает набор ERROR_CONN_RESET:

https://www.envoyproxy.io/docs/envoy/latest/configuration/security/secret#config-secret-discovery-service

If a listener server certificate needs to be fetched by SDS remotely,
it will NOT be marked as active, its port will not be opened before
the certificates are fetched. If Envoy fails to fetch the certificates
due to connection failures, or bad response data, the listener will be
marked as active, and the port will be open, but the connection to the
port will be reset.

Most interesting error, found in appservice-ext-node1-v1-k8se-app-controller-85cb587976-nwr6h

 {"level":"info","ts":1627301876.563232,"logger":"controller-runtime.metrics","msg":"metrics server is starting to listen","addr":"127.0.0.1:8080"}
{"level":"error","ts":1627301876.6502664,"logger":"envoy","msg":"Error reading default cert","error":"140453565756544:error:0D06B08E:asn1 encoding routines:asn1_d2i_read_bio:not enough data:../crypto/asn1/a_d2i_fp.c:198:nnexit status 1","stacktrace":"main.mainnt/__w/k4a
pps/k4apps/cmd/appcontroller/main.go:124nruntime.mainnt/usr/local/go/src/runtime/proc.go:225"}
{"level":"error","ts":1627301876.6528075,"logger":"envoy","msg":"error reading dapr cert","error":"secrets "dapr-trust-bundle" not found","stacktrace":"main.mainnt/__w/k4apps/k4apps/cmd/appcontroller/main.go:124nruntime.mainnt/usr/local/go/src/runtime/proc.go:225"}
{"level":"info","ts":1627301876.7418113,"logger":"setup","msg":"starting manager"}
I0726 12:17:56.741905 1 leaderelection.go:243] attempting to acquire leader lease appservice-ns-node1-v1/appservice-ns-node1-v1-appservice-ns-node1-v1...
{"level":"info","ts":1627301876.7421775,"logger":"controller-runtime.manager","msg":"starting metrics server","path":"/metrics"}
{"level":"error","ts":1627301877.841797,"logger":"envoy","msg":"error reading default cert","error":"140261821150336:error:0D06B08E:asn1 encoding routines:asn1_d2i_read_bio:not enough data:../crypto/asn1/a_d2i_fp.c:198:nnexit status 1","stacktrace":"github.com/microsoft/k
4apps/pkg/envoy.(*XDSManagementServer).updateTLSCertnt/__w/k4apps/k4apps/pkg/envoy/envoy.go:379ngithub.com/microsoft/k4apps/pkg/envoy.(*XDSManagementServer).watchDefaultTLSCert.func3nt/__w/k4apps/k4apps/pkg/envoy/envoy.go:336nk8s.io/client-go/tools/cache.ResourceEvent
HandlerFuncs.OnAddnt/go/pkg/mod/k8s.io/client-go@v0.20.4/tools/cache/controller.go:231nk8s.io/client-go/tools/cache.(*processorListener).run.func1nt/go/pkg/mod/k8s.io/client-go@v0.20.4/tools/cache/shared_informer.go:777nk8s.io/apimachinery/pkg/util/wait.BackoffUntil.f
unc1nt/go/pkg/mod/k8s.io/apimachinery@v0.20.5/pkg/util/wait/wait.go:155nk8s.io/apimachinery/pkg/util/wait.BackoffUntilnt/go/pkg/mod/k8s.io/apimachinery@v0.20.5/pkg/util/wait/wait.go:156nk8s.io/apimachinery/pkg/util/wait.JitterUntilnt/go/pkg/mod/k8s.io/apimachinery@v
0.20.5/pkg/util/wait/wait.go:133nk8s.io/apimachinery/pkg/util/wait.Untilnt/go/pkg/mod/k8s.io/apimachinery@v0.20.5/pkg/util/wait/wait.go:90nk8s.io/client-go/tools/cache.(*processorListener).runnt/go/pkg/mod/k8s.io/client-go@v0.20.4/tools/cache/shared_informer.go:771nk
8s.io/apimachinery/pkg/util/wait.(*Group).Start.func1nt/go/pkg/mod/k8s.io/apimachinery@v0.20.5/pkg/util/wait/wait.go:73"}
{"level":"info","ts":1627301877.8429492,"logger":"envoy","msg":"Processed on startup","count":2}
{"level":"info","ts":1627301877.8429906,"logger":"envoy.stopwatch","msg":"measured: ","Initializing snapshot":1101}
{"level":"info","ts":1627301877.8430026,"logger":"envoy","msg":"starting xds and auth server on port 9090"}
I0726 12:18:13.706604 1 leaderelection.go:253] successfully acquired lease appservice-ns-node1-v1/appservice-ns-node1-v1-appservice-ns-node1-v1