この記事のサンプル・コード捜狐のページをクロール紹介オブジェクト指向マルチスレッドのpython爬虫類、困っている友達を参照することができ
、我々はいくつかのパッケージを必要とするすべての最初：リクエスト、lxmlの、BS4、pymongo 、Redisの
- いくつかの行動と、クローラオブジェクトを作成します。ページ、ページの解析、抽出ページ、ストアページをつかみます
class Spider(object):
def __init__(self):
# 状态(是否工作)
self.status = SpiderStatus.IDLE
# 抓取页面
def fetch(self, current_url):
pass
# 解析页面
def parse(self, html_page):
pass
# 抽取页面
def extract(self, html_page):
pass
# 储存页面
def store(self, data_dict):
pass
- プロパティを設定爬虫類、およびクロールクロールでは、我々はユニークな、@Uniqueユニークな要素を作り、列挙型列挙型の内側から導入が必要ですパッケージの種類を、使用しません。
@unique
class SpiderStatus(Enum):
IDLE = 0
WORKING = 1
- マルチスレッドのカテゴリーを書き換え：
class SpiderThread(Thread):
def __init__(self, spider, tasks):
super().__init__(daemon=True)
self.spider = spider
self.tasks = tasks
def run(self):
while True:
pass
- 今爬虫類の基本的な構造は行われている、主な機能、キュー内からの輸入にキューが必要なタスクを作成します。
def main():
# list没有锁，所以使用Queue比较安全, task_queue=[]也可以使用,Queue 是先进先出结构, 即 FIFO
task_queue = Queue()
# 往队列放种子url, 即搜狐手机端的url
task_queue.put('http://m.sohu,com/')
# 指定起多少个线程
spider_threads = [SpiderThread(Spider(), task_queue) for _ in range(10)]
for spider_thread in spider_threads:
spider_thread.start()
# 控制主线程不能停下,如果队列里有东西，任务不能停, 或者spider处于工作状态，也不能停
while task_queue.empty() or is_any_alive(spider_threads):
pass
print('Over')
4-1とis_any_threadsクモ糸があるかどうかを決定することである私たちは、これをカプセル化する関数を書くので、まだ生きています：
def is_any_alive(spider_threads):
return any([spider_thread.spider.status == SpiderStatus.WORKING
for spider_thread in spider_threads])
- すべての構造はすべて終了している、次のステップは、そのスレッドの後まで行うには、コードは爬虫類、SpiderThread中（スレッド）の内側の一部であると方法の爬虫類の実行実行を書き始めたことができます満たすことです。
def run(self):
while True:
# 获取url
current_url = self.tasks_queue.get()
visited_urls.add(current_url)
# 把爬虫的status改成working
self.spider.status = SpiderStatus.WORKING
# 获取页面
html_page = self.spider.fetch(current_url)
# 判断页面是否为空
if html_page not in [None, '']:
# 去解析这个页面, 拿到列表
url_links = self.spider.parse(html_page)
# 把解析完的结构加到 self.tasks_queue里面来
# 没有一次性添加到队列的方法 用循环添加算求了
for url_link in url_links:
self.tasks_queue.put(url_link)
# 完成任务，状态变回IDLE
self.spider.status = SpiderStatus.IDLE
- これで、ページの内部をフェッチするために）（フェッチ最初の書き込みの内側に、このクラス4の蜘蛛（）メソッドを書き始めることができます。
@Retry()
def fetch(self, current_url, *, charsets=('utf-8', ), user_agent=None, proxies=None):
thread_name = current_thread().name
print(f'[{thread_name}]: {current_url}')
headers = {'user-agent': user_agent} if user_agent else {}
resp = requests.get(current_url,
headers=headers, proxies=proxies)
# 判断状态码，只要200的页面
return decode_page(resp.content, charsets) \
if resp.status_code == 200 else None
6-1 decode_pageクラスのデコード機能の私達のパッケージの外側：
def decode_page(page_bytes, charsets=('utf-8',)):
page_html = None
for charset in charsets:
try:
page_html = page_bytes.decode(charset)
break
except UnicodeDecodeError:
pass
# logging.error('Decode:', error)
return page_html
6-2 @retryがあるため、我々は、クラスのパッケージを使用する必要のパラメータ渡し、最終的な変更@Retry（）のデコレータ、再試行、次のとおりです。
# retry的类，重试次数3次，时间5秒(这样写在装饰器就不用传参数类), 异常
class Retry(object):
def __init__(self, *, retry_times=3, wait_secs=5, errors=(Exception, )):
self.retry_times = retry_times
self.wait_secs = wait_secs
self.errors = errors
# call 方法传参
def __call__(self, fn):
def wrapper(*args, **kwargs):
for _ in range(self.retry_times):
try:
return fn(*args, **kwargs)
except self.errors as e:
# 打日志
logging.error(e)
# 最小避让 self.wait_secs 再发起请求(最小避让时间)
sleep((random() + 1) * self.wait_secs)
return None
return wrapper()
- 次のページ書き込みの分析方法、すなわち、解析（）：
# 解析页面
def parse(self, html_page, *, domain='m.sohu.com'):
soup = BeautifulSoup(html_page, 'lxml')
url_links = []
# 找body的有 href 属性的 a 标签
for a_tag in soup.body.select('a[href]'):
# 拿到这个属性
parser = urlparse(a_tag.attrs['href'])
netloc = parser.netloc or domain
scheme = parser.scheme or 'http'
netloc = parser.netloc or 'm.sohu.com'
# 只爬取 domain 底下的
if scheme != 'javascript' and netloc == domain:
path = parser.path
query = '?' + parser.query if parser.query else ''
full_url = f'{scheme}://{netloc}{path}{query}'
if full_url not in visited_urls:
url_links.append(full_url)
7-1。当社は、および方法SpiderThread（）内で実行する必要があり
current_url = self.tasks_queue.get()
、以下を追加します
visited_urls.add(current_url)
クラス別の外を追加
visited_urls = set()去重
- 今、私たちはURLをクロールし始めることができます。
。
お勧めのpython学習サイトをプログラムで学ぶことです何歳見て、！基本的なPythonスクリプト、爬虫類、ジャンゴ、データマイニング、技術をプログラミング、仕事の経験だけでなく、小型のpythonパートナーのシニア入念な研究から戦闘にゼロベースの情報のプロジェクトを仕上げ！この方法は毎日いくつかの小さな細部がに注意を払う必要に学び、共有し、Pythonプログラマの技術のタイミングを説明するための
概要
上記マルチスレッドクロール爬虫類捜狐ページを導入するためのコードのPythonオブジェクト指向の小さなシリーズの一例であり、我々は手助けをしたい、あなたが持っている場合は任意の質問は私にメッセージをお願いし、
