Блог

Главная - Вопросы по программированию - Как загрузить большой zip-файл с помощью curl?

Как загрузить большой zip-файл с помощью curl?

#curl #ubuntu-18.04

#curl #ubuntu-18.04

Вопрос:

Я хотел бы загрузить большой ZIP-файл с помощью curl (от 700 МБ до 3 ГБ).

Я попробовал следующую (очень простую команду):

 curl -o ul.zip https://www.data.gouv.fr/fr/datasets/r/33897a7f-f702-45bc-aacb-410c8179f614

URL-адрес предоставлен французским правительством здесь: https://www.data.gouv.fr/fr/datasets/base-sirene-des-entreprises-et-de-leurs-etablissements-siren-siret/

Тем не менее, я ожидал файл размером 654,5 МБ, но результат моего curl таков:

   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   335  100   335    0     0   2481      0 --:--:-- --:--:-- --:--:--  2481

И я получаю очень маленький файл, содержащий только это:

 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN">
<title>Redirecting...</title>
<h1>Redirecting...</h1>
<p>You should be redirected automatically to target URL: <a href="http://files.data.gouv.fr/insee-sirene/StockUniteLegale_utf8.zip">http://files.data.gouv.fr/insee-sirene/StockUniteLegale_utf8.zip</a>.

Итак, я попытался использовать URL-адрес перенаправления, который дает мне следующий вывод из curl:

 <html>
<head><title>301 Moved Permanently</title></head>
<body bgcolor="white">
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx</center>
</body>
</html>

Как я могу загрузить этот файл с помощью curl? (зная, что загрузка его через веб-браузер работает отлично)

Ответ №1:

Ну, мне всегда нужно искать правильные ключевые слова ПОСЛЕ того, как я спрошу на SE…

Если я хорошо понял:

Происходит перенаправление. Curl не следует за ним по умолчанию, но вы можете указать curl сделать это с помощью следующей опции:

 -L

Источник: https://curl.se/docs/faq.html#301_Moved_Permanently