Siguiendo pequeño para que todos puedan compartir ejemplos prácticos de los reptiles que se arrastran _ vergüenzas Enciclopedia pieza de un multi-hilo del pitón, un valor de referencia buena, queremos ayuda. Venir a ver, para seguir la serie pequeña juntos
un rastreador de subprocesos múltiples: que ciertos bloques del programa se ejecuta en paralelo,
Razonable para configurar múltiples hilos para tener reptiles de mayor eficiencia
Vergüenzas Enciclopedia guiones reptil reptiles ordinarios y multihilo
Los resultados del análisis de enlace URL:
https://www.qiushibaike.com/8hr/page/ Página /
Multithreading reptiles y Java también multi-roscado casi directamente en el código
'''
#此处代码为普通爬虫
import urllib.request
import urllib.error
import re
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
urllib.request.install_opener(opener)
for i in range(1,2):
url = "https://www.qiushibaike.com/8hr/page/"+str(i)+"/"
pagedata = urllib.request.urlopen(url).read().decode("utf-8","ignore")
pattern = '<div class="content">.*?<span>(.*?)</span>(.*?)</div>'
datalist = re.compile(pattern,re.S).findall(pagedata)
for j in range(0,len(datalist)):
print("第"+str(i)+"页第"+str(j)+"个段子内容是：")
print(datalist[j])
'''
'''
#此处为多线程介绍代码
import threading #导入多线程包
class A(threading.Thread): #创建一个多线程A
def __init__(self): #必须包含的两个方法之一:初始化线程
threading.Thread.__init__(self)
def run(self): #必须包含的两个方法之一：线程运行方法
for i in range(0,11):
print("我是线程A")
class B(threading.Thread): #创建一个多线程A
def __init__(self): #必须包含的两个方法之一:初始化线程
threading.Thread.__init__(self)
def run(self): #必须包含的两个方法之一：线程运行方法
for i in range(0,11):
print("我是线程B")
t1 = A() #线程实例化
t1.start() #线程运行
t2 = B()
t2.start()
'''
#此处为修改后的多线程爬虫
#使用多线程进行奇偶页的爬取
import urllib.request
import urllib.error
import re
import threading
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
urllib.request.install_opener(opener)
class one(threading.Thread): #爬取奇数页内容
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(1,12,2):
url = "https://www.qiushibaike.com/8hr/page/"+str(i)+"/"
pagedata = urllib.request.urlopen(url).read().decode("utf-8","ignore")
pattern = '<div class="content">.*?<span>(.*?)</span>(.*?)</div>'
datalist = re.compile(pattern,re.S).findall(pagedata)
for j in range(0,len(datalist)):
print("第"+str(i)+"页第"+str(j)+"段子内容为：")
print(datalist[j])
class two(threading.Thread): #爬取奇数页内容
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(2,12,2):
url = "https://www.qiushibaike.com/8hr/page/"+str(i)+"/"
pagedata = urllib.request.urlopen(url).read().decode("utf-8","ignore")
pattern = '<div class="content">.*?<span>(.*?)</span>(.*?)</div>'
datalist = re.compile(pattern,re.S).findall(pagedata)
for j in range(0,len(datalist)):
print("第"+str(i)+"页第"+str(j)+"段子内容为：")
print(datalist[j])
t1 = one()
t2 = two()
t1.start()
t2.start()
Este pitón más práctico _ arrastrándose reptiles ejemplo multi-hilo vergüenzas Enciclopedia pieza es pequeña serie para compartir todo el contenido de de todos
el contenido en más de cuántos, y finalmente a recomendar una buena reputación en el número de instituciones públicas [programadores], hay muchas de las habilidades veterano estudio, la experiencia de aprendizaje, habilidades de la entrevista, la experiencia laboral y otras acciones, cuanto más preparado cuidadosamente la información introductoria de base cero en los datos reales del proyecto, el programador tiene que explicar el calendario de la tecnología Python todos los días, compartir algunos métodos y necesidades de aprendizaje prestar atención a los pequeños detalles
