#python #selenium #web-scraping #scrapy
Вопрос:
Я соскабливаю, используя селен и скрапи. Scrapy только потому, что selenium не возвращал значения, но scrapy также не возвращает ни одного. По существу, не удается получить значения выпадающего списка и значения таблицы с сайта. Заблокировано ли содержимое веб-сайта или что-то еще не так? я вижу значения параметров в исходном коде возвращаемой страницы, но selenium или scrapy не могут их подобрать. В настоящее время жестко задан раскрывающийся список для просмотра таблицы
class CanaraBankSpider(scrapy.Spider): """This class defines Canara Bank Spider.""" name = "canara_bank_ins" URL = "https://canarabank.com/locator.aspx" start_urls = (URL,) brand_name = "Canara Bank" spider_type = "chain" def parse(self, response, **kwargs): driver = webdriver.Chrome() driver.get("https://canarabank.com/locator.aspx") WebDriverWait(driver, 20).until( EC.element_to_be_clickable( ( By.XPATH, "//select[@name='ctl00$ContentPlaceHolder1$ddllocater']/option[text()='Branch Details']", ) ) ).click() WebDriverWait(driver, 20).until( EC.element_to_be_clickable( ( By.XPATH, "//select[@name='ctl00$ContentPlaceHolder1$ddlstate']/option[text()='Bihar']", ) ) ).click() WebDriverWait(driver, 20).until( EC.element_to_be_clickable( ( By.XPATH, "//select[@name='ctl00$ContentPlaceHolder1$ddldistrict']/option[text()='Gaya']", ) ) ).click() WebDriverWait(driver, 20).until( EC.element_to_be_clickable( ( By.NAME, "ctl00$ContentPlaceHolder1$btnview", ) ) ).click() selector = Selector(text=driver.page_source) print( selector.xpath('//*[@id="ContentPlaceHolder1_gvlocatordata"]//tr[2]/td[3]') ) Мы очень ценим любую помощь
Комментарии:
1. Извините за это, я не понимаю, каков ваш желаемый результат и каковы предварительные условия, означающие, что нужно делать, пожалуйста, объясните немного яснее, объясните о : имя_бренда = «Банк Канара» тип_спидера = «цепочка»
2. таким образом, эти два поля являются метаданными. в основном я хотел очистить такие данные, как адрес и номер телефона, касающиеся всех филиалов этого банка. так что для этого мне нужно очистить таблицы, выполнить поиск по XPath, и все возвращается к нулю
3. также хотел получить параметры раскрывающегося списка, чтобы сделать цикл for для всех штатов/городов