プロジェクト分析

まず、我々はクロールのWebサイトへの準備ができて、すべての最初に持ってembarrassmentsウィキペディア URL（http://www.qiushibaike.com/）、我々は、我々はクロールコンテンツへの法則を見つける記事のソースコードを見ることができ、ここで私の抽出物でありますコードの一部

<div class="content">
<span>
儿子三岁的时候，经常跟着奶奶，奶奶开了个养鸡场，养了三四千只鸡，孩子每天最高兴的就是跟奶奶进鸡房捡鸡蛋，拾进那个大木头箱子，拉出来，再装进蛋托里装箱。<br/><br/>有天奶奶正在那装蛋托呢，儿子在跟前玩，一个没立稳，一屁股坐在了装鸡蛋的大木箱子里，把满满的一箱子鸡蛋坐出了个大坑，吓的哇哇哭起来了，奶奶都没舍得训他。而是自己把剩下好的鸡蛋挨个都擦了装箱，把还能吃的坏一点的鸡蛋都留下来自个吃。<br/><br/>晚上吃饭的时候，他叔叔和爷爷看着饭桌上炒的一大盘鸡蛋，都说婆婆开眼了，舍得炒这么多鸡蛋，儿子在一边悠悠得说:“叔叔，
…
</span>
<span class="contentForAll">查看全文</span>
</div>

<a href="/article/122710686" target="_blank" class="contentHerf" onclick="_hmt.push(['_trackEvent','web-list-content','chick'])">
<div class="content">
<span>
单位安排我们一些管理人员先上班！<br/>这天领导突然检查工作，要求必须佩戴好口 罩去迎接！<br/>当时我在整理文件，着急忙慌的刚摘掉的口罩居然找不到了，情急之下，我抓起美女同事桌子上的一包口 罩就往外跑！<br/>在离领导们还有20米左右的时候，我赶紧拿出口罩准备戴上，拿出来才发现，是卫 生 巾！<br/>哎哟哟，众目奎奎一下，我这个脸呀！
</span>
</div>

上記とフロントエンドのスタイル以下のコードと組み合わせることで、我々は、すべての記事が<DIV CLASS =「コンテンツ」>の間にあると結論付けることができます。</ div>の、いくつかの学生が理由ではない、頼むかもしれないの<span>タグの内側それ、など<スパンクラス=「contentForAll」>表示全文</ span>を、上記のような干渉のスパン内の一部のコンテンツは、ので
ここに画像を挿入説明
第二に、界面でのオープンな外観は、我々はこれはのページがたくさんあることがわかります我々はすべてのコンテンツをクロールする場合は、我々はまた、我々はページをめくる方法を分析する必要があるページを、有効にする必要があります。
2ページのURLます。https：//www.qiushibaike.com/hot/page/2/
3ページのURLます。https：//www.qiushibaike.com/hot/page/3/
4ページのURL：httpsを：/ /www.qiushibaike.com/hot/page/4/
ので、誰もが右、法律見つけることを
ここに画像を挿入説明
私に少しジャンプは、非常に明確に、それはコードを見てだろうと述べている場合、コードは、私は理解していない見ることができ、サードを前の記事モジュール導入Urlib

#创建一个用户代理池数组
uapools=[
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",#360
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36",#谷歌
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0",
]
#定义一个方法UA()
def UA():
    #创建一个urllib.request.build_opener()对象
    opener = urllib.request.build_opener()
    #每次从uapools中随机选取一个User-Agent
    thisua = random.choice(uapools)
    #以JSON格式（键值对）保存一个User-Agent
    ua = ("User-Agent",thisua)
    #将User-Agent赋值给opener.addheaders
    opener.addheaders=[ua]
    #将urllib.request的install_opener改成咱们的
    urllib.request.install_opener(opener)
    print("当前使用User-Agent："+str(thisua))

sum = 0
for i in range(0,13):
    #从第一页便利到第十三页
    url = "https://www.qiushibaike.com/hot/page/"+ str(i+1) +"/"
    UA()
    #这回就可以快乐的爬取网站内容啦
    data = urllib.request.urlopen(url).read().decode("utf-8","ignore")
    string = '<div class="content">.*?<span>(.*?)</span>.*?</div>'
    res = re.compile(string,re.S).findall(data)
    for j in range(0,len(res)):
        print(res[j])
        print("-------------本页第" + str(j) + "条------------")
        sum = sum + 1
print("共有"+ str(sum) +"条文章")

それの業績を見て：それはembarrassments百科事典として、2020年2月7日合計261の記事のようだ
ここに画像を挿入説明
理解していなかった、または私はあなたに感謝し、セクションが指摘するコメントで歓迎し、間違った場所を持っています！

プログラマ小さな浙江省

リリース9件のオリジナルの記事・ウォン称賛59 ・ビュー8271

プライベートの手紙の懸念

ウェブクローラ - （すべてのembarrassmentsウィキペディアの記事をクロール）プロジェクトの戦闘

プロジェクト分析

おすすめ