#php #curl #cookies
#php #curl #файлы cookie
Вопрос:
У меня есть URL, который перенаправляет на другое доменное имя каждый раз, когда я открываю его в браузере. Содержимое каждого домена, на который я перенаправлен, отображается, ТОЛЬКО если я перенаправлен с этого основного URL.
Другими словами: если я открою один из всех перенаправленных URL-адресов непосредственно в новом окне браузера, он отобразит мне пустую страницу.
Я пытаюсь создать небольшого бота, который может выполнять эти 2 основные задачи:
1) Получить доменные имена, которые перенаправляет URL;
2) Получить реальное содержимое этих перенаправленных доменных имен;
Я пытаюсь сделать это с помощью cURL, включая:
curl_setopt($ch, CURLOPT_COOKIE, ‘tmpfile.tmp’);
curl_setopt($ch, CURLOPT_COOKIEJAR, ‘tmpfile.tmp’);
curl_setopt ($ch, CURLOPT_COOKIEFILE, ‘tmpfile.tmp’);
но все, что я могу получить, это следующий исходный код основного URL:
HTTP / 1.1 200 OK
Дата: Сб, 20 апр 2019 22:38:21 GMT
Тип содержимого: текст / html; кодировка = utf-8
Кодировка передачи: фрагментированное
соединение: keep-alive
X-Powered-By: PHP / 5.4.16
Alt-Svc: h2=»:443″; ma=60
Сервер: cloudflare
CF-RAY: 4caa9baab8cdbd98-AMS<title> Загрузка, пожалуйста, подождите …<title>
window.name = Строка(Math.floor(Math.random()*101) 100);
if (window.opener) { window.opener = null; }
окно.location.replace(«/cgi-bin/out.cgi?l=null»);Загрузка, пожалуйста, подождите…
Пожалуйста, помогите мне создать скрипт, который достаточно притворяется обычным посетителем веб-сайта и может собирать эти данные.
Этот проект предназначен для очень хорошего дела, и любая помощь будет действительно оценена!
Ответ №1:
Я открываю один из всех перенаправленных URL-адресов непосредственно в новом окне браузера, он отобразит мне пустую страницу.
тогда вам не следует повторно использовать файлы cookie, потому что именно так веб-сайт проверяет, тот ли это пользователь с новым окном браузера или совершенно новым браузером, но похоже, что ваш код пытается повторно использовать файлы cookie (он использует статический жестко закодированный файл cookie, судя поэто, если вам нужен временный файл, тогда используйте tmpfile() или просто сохраните файл cookie в ОЗУ)
и эта страница выглядит очень странно и ИМЕЕТ НЕРАБОТАЮЩИЙ javascript-перенаправитель, либо вы не показываете полный html основного URL-адреса, либо основной URL-адрес никого никуда не перенаправляет, он не помещает перенаправляющий javascript в <script> тег, и, следовательно, браузер не будет использовать его для перенаправления в любом месте.