importar solicitudes de importación de pymysql desde bs4 importar BeautifulSoup importar lxml lista_mensajes = [] def get_content(): url = "http://www.scetc.cn/reList" headers = {"User-Agent": "Mozilla/5.0(compatible; MSIE 9.0;Windows NT 6.1;Trident / 5.0)"} respuesta = solicitudes.solicitud(url=url, encabezados=encabezados,método="GET") respuesta.codificación = 'utf-8' html = respuesta.texto devolver html def get_path(): html = get_content() sopa = BeautifulSoup(html,'lxml') lista = sopa.select('div[class="newsbox"] ul li a') for a in list: href = a['href '] lista_mensajes.append(href) def add(nombre,sitio,hora,lugar,especialidad,observación): con = pymysql.connect(host='localhost', usuario='raíz', contraseña='123456', base de datos='prueba') cursor = con. cursor() sql = "insertar en valores de empleo (nombre, sitio, hora, lugar, especialidad, comentario) (%s,%s,%s,%s,%s,%s)" infor_list = [nombre, sitio , hora, lugar, especialidad, comentario] cursor.execute(sql, infor_list) cursor.close() con.close() print("数据存储成功!") def data_store(): get_path() for path in message_list: url = "http://www.scetc.cn/"+encabezados de ruta = {"User-Agent": "Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident / 5.0)"} respuesta = solicitudes.solicitud(url=url, encabezados=encabezados, método="GET") respuesta.codificación = 'utf-8' htmls = respuesta.texto sopa = BeautifulSoup(htmls, 'lxml') lista = sopa.select('div[clase="flat-wrapper"] table tr td') empleo = [] for a in list: content = a. string empleo .append(contenido) print(empleo) #add(empleo[1], empleo[3], empleo[5], empleo[7], empleo[9], empleo[11]) if __name__=='__ main__ ': almacén_de_datos()
Rastreo y almacenamiento de datos de Python en la base de datos mysql
Supongo que te gusta
Origin blog.csdn.net/weixin_57803787/article/details/124873903
Recomendado
Clasificación