python爬虫使用selenium爬取动态网页信息——以智联招聘网站为例

python版本3.6

#导入两个模块
from selenium import webdriver
import time
from openpyxl import Workbook
import csv
import codecs
#存储csv的方法
class saving(object):
        def __init__(self):
                # print('存储开始')
            #创建文件夹
                if not os.path.exists('csv'):
                        os.mkdir('csv')
                if not os.path.exists('excel'):
                        os.mkdir('excel')
        def savetocsv(self, data):
                with codecs.open('csv/zhilian.csv', 'a', encoding='utf-8') as csvfile:
                        write = csv.writer(csvfile)
                        # 写入一行的语法，write.writerow([])
                        write.writerow(data)
#设定爬取内容的方法
def getzhilian(url,city_name,industry):
    browser = webdriver.Chrome()
    browser.get(url)
    #设置时间是为了防止ip被封
    time.sleep(1)
    browser.maximize_window()
    time.sleep(1)
    #设置循环，需要爬取多少页内容就循环多少次
    for i in range(25):
    	#设置拖动网页的循环，注意智联的这个循环只是为了防止ip很快的被封掉
        for n in range(3):
            time.sleep(2)
            browser.execute_script('window.scrollBy(0,300)', '')
         #提醒说明
        print('开始获取',city_name,industry,i+1,'页数据')
        time.sleep(1)
        #爬取的一个list
        all=browser.find_element_by_id('listContent').find_elements_by_xpath('div')
        for each in all:
            data=[]
            time.sleep(1)
            #具体内容的获取，有些需要进行判断是否存在
            company=each.find_element_by_xpath('div/div/div/div[2]/a').text
            Release_time = each.find_element_by_xpath('div/div/div[3]/div[2]/span').text
            salary=each.find_element_by_xpath('div/div/div[2]/div/p').text
            address=each.find_element_by_xpath('div/div/div[2]/div/ul/li[1]').text
            experience=each.find_element_by_xpath('div/div/div[2]/div/ul/li[2]').text
            education=each.find_element_by_xpath('div/div/div[2]/div/ul/li[3]').text
            c_type=each.find_element_by_xpath('div/div/div[2]/div[2]/span[1]').text
            try:
                c_size=each.find_element_by_xpath('div/div/div[2]/div[2]/span[2]').text
            except:
                c_size=''
            data.append([industry,company,Release_time,salary,address,experience,education,c_type,c_size])
            time.sleep(1)
            #进行存储，方式很多，这里就写了一个csv的存储方式
            myzhilian=saving()
            myzhilian.savetocsv(data[0])
        print(city_name, industry, i + 1, '页数据获取完成')
        #下面是判断当前页是否为最后一页的一种方法
        if len(all)<60:
            browser.close()
            return
        browser.find_element_by_xpath('.//div/button[2]').click()
        time.sleep(1)
 #主函数设置
def main(filename):
	#城市与行业的设置可选，然后循环获取
    citys={530:'北京',538:'上海',763:'广州',765:'深圳'}
    industries={10100:'互联网/IT',10200:'金融',10800:'房地产/建筑',10900:'商业服务',10300:'贸易/批发/零售',10400:'教育/艺术',10000:'服务业',11300:'文化/传媒/娱乐',999999:'其他'}
    for city in citys:
        city_name=citys[city]
        for i in industries:
            industry=industries[i]
            url='https://sou.zhaopin.com/?pageSize=60&jl='+str(city)+'&in='+str(i)+'&kw='+filename+'&kt=3'
            getzhilian(url,city_name,industry)
            print(city,industry,'存储数据完成')
if __name__ == '__main__':
    main('职位名称')

注意事项：当selenium中的class_name与tag_name等方式无法获取内容时，不妨试试xpath的方法。