Блог

У меня есть службы (обе написаны в scala), развернутые в кластере kubernetes, давайте назовем их внешней службой и внутренней службой

1. Внешняя служба — 5 модулей, предоставляет REST API, использует внутренний сервис grpc API через grpc-клиент
2. Модуль внутренней службы 1, предоставляет API grpc

Проблема — Когда я вызываю внутреннюю службу grpc API путем переадресации портов с использованием некоторого grpc-клиента, например, BloomRPC, задержка очень хорошая в течение 1 секунды (в среднем 300 мс), но когда я использую тот же grpc API с использованием grpc-клиента (написанного на scala), это всегда занимает в среднем> 2 секунды. Я понимаю, что первый вызов займет некоторое время из-за обработки соединения TPC, но это всегда занимает 2-4 секунды даже после прогрева JVM. Я создаю канал grpc только один раз при запуске службы (в основном методе, асинхронная заглушка) и повторно использую его, балансировка нагрузки grpc на стороне клиента не включена. Как улучшить задержку?

 class MyServiceGrpcClient(val channel: ManagedChannel) {
  val myServiceStub = MyServiceGrpc.stub(channel)

  def this(host: String, port: Int) {
    this(ManagedChannelBuilder.forAddress(host, port).usePlaintext().build())
  }

  @throws[InterruptedException]
  def shutdown(): Unit = {
    channel.shutdown.awaitTermination(5, TimeUnit.SECONDS)
  }
}


object ExternalServiceApp extends App {
  val host = sys.env.getOrElse("HOST_NAME", "internal-service-name") //Its k8s ClusterIP service name
  val port = sys.env.getOrElse("PORT", "1234")
  val internalGrpcClient = new MyServiceGrpcClient(wesHost, wesPort).myServiceStub

  val routes = new ExternalRoutes(internalGrpcClient)

  //Akka http routes logic, route API calls grpc API
}

class ExternalRoutes(grpcClient: MyServiceGrpcClient){

  override def getResponse(request: Request): Future[Response] = {

    grpcClient.internalGrpcApi(request).map { resp =>
      resp
    }

  }
}