Блог

Я пытаюсь загрузить несколько CSV-файлов с приведенного ниже URL-адреса и надеюсь использовать для этого selenium или любой другой метод. URL требует заполнения формы, которая включает в себя выбор параметров из нескольких выпадающих списков. Затем необходимо нажать кнопку «изображение», чтобы появилась ссылка для скачивания. Если я запускаю драйвер selenium chrome из python и нажимаю на кнопку, ничего не появляется. Я также не могу определить URL-адрес файлов csv, чтобы их можно было загрузить с помощью «запросов» или «urllib».

Вот URL-адрес, с которого мне нужно загрузить: https://www1.nseindia.com/products/content/derivatives/equities/historical_fo.htm

Вот мой код до сих пор:

 from selenium import webdriver
from selenium.webdriver.support.ui import Select
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

url = 'https://www1.nseindia.com/products/content/derivatives/equities/historical_fo.htm'
driver.get(url)
instr_type = Select(driver.find_element_by_id('instrumentType'))
symbol = Select(driver.find_element_by_id('symbol'))
opt_type = Select(driver.find_element_by_id('optionType'))
date_range = Select(driver.find_element_by_id('dateRange'))
button = driver.find_element_by_xpath("//input[@src='/common/images/btn-get-data.gif' and @type='image']")

instr_type.select_by_visible_text('Index Options')
symbol.select_by_visible_text('NIFTY 50')
opt_type.select_by_visible_text('CE')
date_range.select_by_visible_text('90 Days')
button.click()
 

И это то, что происходит в драйвере selenium —

Есть мысли о том, как загрузить csv-файлы по ссылке выше? Необязательно использовать selenium.

Я не знаю, как решить проблему, Selenium но теперь я знаю, как ее получить с requests помощью и BeautifulSoup

Эта страница отправляет ваши параметры из формы на эту страницу в виде значений непосредственно в этом URL (не как POST )

https://www1.nseindia.com/products/dynaContent/common/productsSymbolMapping.jsp

и сервер отправляет обратно HTML таблицу, а также все данные <div id="csvContentDiv"> .
В этом теге все данные в виде текста уже отформатированы для сохранения csv — его нужно только заменить : на n

Редактировать:

Иногда сервер выдает мне Status 405 Method Not Allowed , поэтому я добавил requests.Session() , чтобы получить файлы cookie, и, возможно, это будет работать лучше.

 import requests
from bs4 import BeautifulSoup

session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})

# --- main page ---
url = 'https://www1.nseindia.com/products/content/derivatives/equities/historical_fo.htm'
r = session.get(url)
#print(r.status_code)

# --- table ---

url = 'https://www1.nseindia.com/products/dynaContent/common/productsSymbolMapping.jsp'

payload = {
    'instrumentType': 'OPTIDX',
    'symbol': 'NIFTY',
    'expiryDate': 'select',
    'optionType': 'CE',
    'strikePrice': '',
    'dateRange': '3month', 
    'fromDate': '',
    'toDate': '',
    'segmentLink': '9',
    'symbolCount':'',
}

r = session.get(url, params=payload)
#print(r.text)

soup = BeautifulSoup(r.text, 'html.parser')
data = soup.find('div', {'id': 'csvContentDiv'})
#print(data.text)
data = data.text.replace(':', 'n')

with open('output.csv', 'w') as fh:
    fh.write(data)

print(data)
 

Сервер не отправляет данные, если вы не используете real User-Agent — по крайней мере, short 'Mozilla/5.0'

Я нашел этот URL-адрес, используя DevTools вкладку Firefox / Chrome Network . И позже я получаю ответ с этого URL-адреса и вручную проверяю, что я получаю, и я нашел csv данные. Но я ожидал, что в этом ответе мне придется извлекать данные из таблицы HTML.