Databricks SQL - Как получить все строки (более 1000) при первом запуске?

#sql #apache-spark-sql #databricks

Вопрос:

В настоящее время в Databricks, если мы запускаем запрос, он всегда возвращает 1000 строк при первом запуске. Если нам нужны все строки, нам нужно снова выполнить запрос.

В ситуациях, когда мы знаем, что нам нужно загрузить полные данные (более 1000 строк), есть ли способ выполнить запрос, чтобы получить все строки при первом запуске без повторного выполнения запроса?

Ответ №1:

Рядом с кнопкой загрузки должна быть стрелка вниз, которая позволяет загружать полные результаты. Вы видите это в своем интерфейсе? (Источник)

Стрелка вниз рядом с кнопкой загрузки.

1. По-прежнему не отвечает на вопрос. Странно, что мы не можем получить полные результаты, не выполнив запрос дважды.

2. У меня такая же проблема. Это хуже, чем необходимость запускать запрос дважды. Если вы используете Databricks для создания диаграмм, вы не можете отобразить на диаграмме данные объемом более 1000 строк (это заставило меня задуматься о том, почему мой sql внезапно перестал показывать данные за 2017 год).). Загрузка полных результатов очень полезна, если вы используете внешний инструмент для визуализации и т. Д.

3. я сам сталкиваюсь с той же проблемой. к сожалению, я не нашел встроенного решения databricks, но если вам нужны все данные для построения графика, можно использовать toPandas метод преобразования фрейма данных spark в данные pandas и использовать встроенные методы построения графиков pandas или использовать matplotlib или seaborn для более сложного построения графиков.

4. не отвечает на вопрос.