Блог

Я новичок в веб-очистке python, и я хотел бы очистить 100 лучших результатов заданий от indeed, но я могу очистить только результаты первой страницы, то есть top 10. Я использую фреймворк BeautifulSoup. Это мой код, и кто-нибудь может помочь мне с этой проблемой?

 import urllib2
from bs4 import BeautifulSoup
import json

URL = "https://www.indeed.co.in/jobs?q=software developeramp;l=Bengaluru, Karnataka"
soup = BeautifulSoup(urllib2.urlopen(URL).read(), 'html.parser')

results = soup.find_all('div', attrs={'class': 'jobsearch-SerpJobCard'})

for x in results:
company = x.find('span', attrs={"class":"company"})
print 'company:', company.text.strip()

job = x.find('a', attrs={'data-tn-element': "jobTitle"})
print 'job:', job.text.strip()
  

Выполняйте это партиями по 10, изменяя начальное значение в URL. Вы можете выполнять циклическое увеличение и добавлять переменную add

https://www.indeed.co.in/jobs ?q = программное обеспечение разработчик amp; l = Бангалор% 2C Карнатака amp;start = 0

https://www.indeed.co.in/jobs ?q = программное обеспечение разработчик amp; l = Бангалор, Карнатака amp; start = 1

Например.

 import requests
from bs4 import BeautifulSoup as bs
import pandas as pd
results = []
url = 'https://www.indeed.co.in/jobs?q=software developeramp;l=Bengaluru, Karnatakaamp;start={}'
with requests.Session() as s:
    for page in range(5):
        res = s.get(url.format(page))
        soup = bs(res.content, 'lxml')
        titles = [item.text.strip() for item in soup.select('[data-tn-element=jobTitle]')]
        companies = [item.text.strip() for item in soup.select('.company')]
        data = list(zip(titles, companies))
        results.append(data)
newList = [item for sublist in results for item in sublist]
df = pd.DataFrame(newList)
df.to_json(r'C:UsersUserDesktopdata.json')
  

Вы можете сделать это, если включите свой код в цикл range:

 from bs4 import BeautifulSoup
import json
import urllib2

URL = "https://www.indeed.co.in/jobs?q=software developeramp;l=Bengaluru, Karnatakaamp;start="

for i in range(0 , 100 , 10):
    soup = BeautifulSoup(urllib2.urlopen(URL str(i)).read(), 'html.parser')
    results = soup.find_all('div', attrs={'class': 'jobsearch-SerpJobCard'})
    for x in results:
        company = x.find('span', attrs={"class":"company"})
        print 'company:', company.text.strip()

        job = x.find('a', attrs={'data-tn-element': "jobTitle"})
        print 'job:', job.text.strip()  
  

Попробуйте приведенный ниже код.Это приведет к переходу на следующую страницу длиной до 10 страниц.Если вы хотите взять более 100 записей, просто замените while page_num<100: на while True:

 from bs4 import BeautifulSoup
import pandas as pd
import re
headers = {'User-Agent':
       'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36'}

page = "https://www.indeed.co.in/jobs?q=software developeramp;l=Bengaluru, Karnataka"
company_name = []
job_title = []
page_num = 10
session = requests.Session()
while True:
    pageTree = session.get(page, headers=headers)
    pageSoup = BeautifulSoup(pageTree.content, 'html.parser')
    jobs= pageSoup.find_all("a", {"data-tn-element": "jobTitle"})
    Companys = pageSoup.find_all("span", {"class": "company"})
    for Company, job in zip(Companys, jobs):
        companyname=Company.text
        company_name.append(companyname.replace("n",""))
        job_title.append(job.text)
    if pageSoup.find("span", text=re.compile("Next")):
        page = "https://www.indeed.co.in/jobs?q=software developeramp;l=Bengaluru, Karnatakaamp;start={}".format(page_num)
        page_num  =10
    else:
        break

print(company_name)
print(job_title)
df = pd.DataFrame({"company_name":company_name,"job_title":job_title})
print(df.head(1000))