#python #pandas #python-requests #zipfile #chunked-encoding
Вопрос:
Я успешно загрузил файл zipfile с URL-адреса, который содержит csv (это были относительно небольшие наборы данных). Однако существует один zip-файл с ~2 миллионами строк, который вызывает следующую ошибку:
requests.exceptions.ChunkedEncodingError: ("Connection broken: InvalidChunkLength(got length b'', 0 bytes read)", InvalidChunkLength(got length b'', 0 bytes read))
Я, кажется, ничего не могу найти в «Длине чунка». Вот мой код:
import requests
from zipfile import ZipFile
from io import BytesIO
import pandas as pd
db = 'url'
r = requests.get(db)
z = ZipFile(BytesIO(r.content))
# get filename
file = z.infolist()[0].filename
# create key, val pair
k = file[:file.find('.')]
v = pd.read_csv(z.open(file))
data[k] = v
print(data)
Комментарии:
1. Можете ли вы загрузить файл другими способами?
2. @9769953 да, я могу вручную загрузить в свою бд из csv. Я бы сказал, что это связано с большим объемом данных в этом csv-файле
3. Я спросил о загрузке zip-файла с URL-адреса. Вы упомянули о загрузке CSV-файла в свою базу данных. Я не уверен, что вы имеете в виду то же самое, но звучит так, как будто это не так.