pyhton爬虫：三种爬取csdn首页所有文章的方法

1. 爬取csdn首页所有文章

1.1 方法1

import urllib.request
import re

url='http://blog.csdn.net/'

#伪装浏览器
headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0； WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0')
opener=urllib.request.build_opener()
opener.addheaders=[headers]
urllib.request.install_opener(opener)
data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
print(data)


pat='<div class="title"><h2> <a href="(.*?)"'
result=re.compile(pat).findall(data)

#下载到本地
for i in range(0,len(resture)):
    file='F:/jupyterpycodes/python_pachongfenxi/result'+str(i)+'.html'
    urllib.request.urlretrieve(resture[i],filename=file)
    print('第'+str(i)+'次爬取成功')

1.2 方法2

import re
import urllib.request

def function():
    """Python爬虫爬取CSDND首页的所有的文章"""
    html="https://blog.csdn.net/nav/engineering"
    #模拟浏览器
    headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0； WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0')#这里用的是Fix浏览器进行爬取的一个报头如果是采用其他的这个报头就要进行更换
    opener=urllib.request.build_opener()
    opener.addheader=[headers]
    urllib.request.install_opener(opener)

    data = urllib.request.urlopen(html).read()
    data = data.decode("utf-8", "ignore")
    print(data)
    pattern='<h3 class="company_name"><a href="(.*?)"'
    mydata=re.compile(pattern).findall(data)
    print(mydata)
    for i in range(0,len(mydata)):
        file="F:/jupyterpycodes/python_pachongfenxi/result"+str(i)+".html"
        urllib.request.urlretrieve(mydata[i],filename=file)
        print("第%d次爬取成功"%i)

    print("CSDN爬虫结束")

1.3 方法3

import re
import os
import urllib.request
import urllib.error

#设置用户浏览器代理

header=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0")

opener=urllib.request.build_opener()

opener.addheaders=[header]

#将header设置为全局

urllib.request.install_opener(opener)

url="http://blog.csdn.net/"

data=opener.open(url).read().decode("utf-8")

pat='''data-track-click='{"mod":"popu_459","con":",(.*?),'''

blogurl=re.compile(pat).findall(data)

#通过列表变为元组在变为列表的方式来进行除重

blogurl=list(set(blogurl))

#获取的链接数

pagesnum=len(blogurl)

#指定本地存放目录

localpath="F:/jupyterpycodes/python_pachongfenxi/result"

#如果没有这个目录则创建该目录

if not os.path.exists(localpath):

        os.mkdir(localpath)
print("该页面一共有"+str(pagesnum)+"篇文章")

#匹配每篇文章题目的正则表达式
pat2='''"keyword":"(.*?)"}'>'''
    
for i in range(0,len(blogurl)):
    try:

        thislink=blogurl[i]

        #获取文章标题
        data2=urllib.request.urlopen(thislink).read().decode("utf-8")

        name=re.compile(pat2).findall(data2)
            

        #下载该链接到本地        

        urllib.request.urlretrieve(thislink,localpath+str(name)+".html")

        #给文件重命名
        print("第"+str(i+1)+"/"+str(pagesnum)+"篇文章已成功爬取到本地......"+"\n")

        
    except Exception as e:

        print("第"+str(i+1)+"/"+str(pagesnum)+"下载失败\n原因是："+str(e))

2. 代理服务器：

是一个处于我们与互联网中间的服务器。如果使用代理服务器，我们浏览信息的时候，先向代理服务器发出请求,然后由代理服务器向互联网获取信息，再返回给我们。
使用代理服务器爬虫，可以很好的解决IP限制的问题。

import urllib.request

 #设置代理服务器函数
def use_proxy(url,proxy_addr):
    proxy=urllib.request.ProxyHandler({'http':proxy_addr})
    opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    urllib.request.urlopen(url).read().decode('utf-8','ingnore')
    return data

proxy_addr='119.183.220.224:8888'#尝试免费的代理IP
url='http://www.baidu.com'
data=use_proxy(url,proxy_addr)
print(len(data))