#python #database #pandas #impala
#python #База данных #pandas #impala
Вопрос:
У меня проблема с загрузкой данных из impala с использованием impyla. Тот же код работал для python 2.7, теперь, когда я перешел на python 3.7, он остановился.
connect = connect(host=host_name, port=21050, user=login, password=passwd, use_ssl=True, auth_mechanism='LDAP')
cursor = connect.cursor()
cursor.execute('USE ' db_name)
Странно то, что при вызове select с count он работает
cursor.execute('select count(*) from table')
tab_len = as_pandas(cursor)
но с этим кодом это не
cursor.execute('select * from table LIMIT 100')
data = as_pandas(cursor)
Я проверил, и он складывается в
cursor.fetchall()
Ошибки нет, он все еще загружается.
Комментарии:
1. Похоже, та же проблема связана с памятью / буфером. select * из xxx limit 18 работает в моем случае, select * из xxx limit 19 зависает. Если я уменьшу, чтобы выбрать a, b, c из xxx, то остановка произойдет на пределе 34. Вы что-нибудь выяснили за это время?