Недопустимая длина фрагмента — перенесите zip-файл с URL-адреса на python

#python #pandas #python-requests #zipfile #chunked-encoding

Вопрос:

Я успешно загрузил файл zipfile с URL-адреса, который содержит csv (это были относительно небольшие наборы данных). Однако существует один zip-файл с ~2 миллионами строк, который вызывает следующую ошибку:

 requests.exceptions.ChunkedEncodingError: ("Connection broken: InvalidChunkLength(got length b'', 0 bytes read)", InvalidChunkLength(got length b'', 0 bytes read))
 

Я, кажется, ничего не могу найти в «Длине чунка». Вот мой код:

 import requests
from zipfile import ZipFile
from io import BytesIO
import pandas as pd

db = 'url'
r = requests.get(db)
z = ZipFile(BytesIO(r.content))

# get filename 
file = z.infolist()[0].filename

# create key, val pair
k = file[:file.find('.')]
v = pd.read_csv(z.open(file))
data[k] = v
print(data)
 

Комментарии:

1. Можете ли вы загрузить файл другими способами?

2. @9769953 да, я могу вручную загрузить в свою бд из csv. Я бы сказал, что это связано с большим объемом данных в этом csv-файле

3. Я спросил о загрузке zip-файла с URL-адреса. Вы упомянули о загрузке CSV-файла в свою базу данных. Я не уверен, что вы имеете в виду то же самое, но звучит так, как будто это не так.