Блог

У меня есть приложение scala, которое создает таблицу tsv с помощью BigQuery. Когда пользователь пытается получить доступ к данным, я хочу вернуть его, если задание запроса завершено, в противном случае сообщите им, что оно все еще выполняется.

Мое создание задания запроса выглядит следующим образом:

         bigQuery.create(
          JobInfo.of(
            QueryJobConfiguration
              .newBuilder(mySql)
              .setAllowLargeResults(true)
              .setDestinationTable(TableId.of("MyReports", s"${tableName}_$random".replace("-", "_")))
              .setWriteDisposition(JobInfo.WriteDisposition.WRITE_TRUNCATE)
              .setCreateDisposition(JobInfo.CreateDisposition.CREATE_IF_NEEDED)
              .setUseLegacySql(false)
              .build()
          )
        )
 

и метод получения данных выглядит следующим образом:

 override def getData(jobId: String): IO[Either[Throwable, String]] = {
  bigQueryService.getMyJob(jobId).map {
    case Right(None) | Right(Some(null)) => Right("Data not found, check provided job name")
    case Right(Some(r)) =>
      if (r.isDone) {
        Try(r.getQueryResults()
        .iterateAll()
        .asScala
        .map(_.asScala.map(_.getValue.toString).mkString("t"))
        .mkString("n")
        ).toEither
      } else {
        Right(s"Job not completed, current status is ${r.getStatus.getState.toString}")
      }
    case Left(err: Throwable) => Left(err)
  }
}
 

Где я использую Cats Effect IO для оценки в конце вычисления. Моя проблема в том, что getQueryResults метод в задании останавливается до завершения запроса. Я пытаюсь предотвратить это, проверяя другой метод в задании BQ : isDone . По какой-то причине в моем тестировании isDone возвращает true до завершения запроса. Я сам вижу это при проверке консоли BigQuery. Это приводит к тому, что запрос пользователя всегда останавливается до завершения запроса, вместо того, чтобы возвращать сообщение, как предполагалось.

Как это задание может быть завершено, пока запрос все еще выполняется? Я упускаю какое-то различие между заданиями и запросами? Или есть что-то еще, что я пропустил? Спасибо за любые предложения, которые у вас могут быть.

jobs.getQueryResults имеет необязательный timeoutMs параметр, который управляет его зависающей семантикой GET. Он ожидает завершения задания до указанного интервала или 10 секунд, если не указано. Если задание завершено, оно возвращается немедленно независимо от этого.

Если вы установите время ожидания равным нулю, ответ будет возвращен немедленно, и вы можете проверить статистику результатов, чтобы увидеть, завершено ли задание. Если это так, ответ должен также содержать схему и первую страницу строк данных.

Дополнительная информация из ссылки REST: https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/getQueryResults