Rastreo y almacenamiento de datos de Python en la base de datos mysql

importar 
solicitudes de importación de pymysql 
desde bs4 importar BeautifulSoup 
importar lxml 
lista_mensajes = [] 

def get_content(): 
    url = "http://www.scetc.cn/reList" 
    headers = {"User-Agent": "Mozilla/5.0(compatible; MSIE 9.0;Windows NT 6.1;Trident / 5.0)"} 
    respuesta = solicitudes.solicitud(url=url, encabezados=encabezados,método="GET") 
    respuesta.codificación = 'utf-8' 
    html = respuesta.texto 
    devolver html 

def get_path(): 
    html = get_content() 
    sopa = BeautifulSoup(html,'lxml') 
    lista = sopa.select('div[class="newsbox"] ul li a') 
    for a in list: 
        href = a['href '] 
        lista_mensajes.append(href)

def add(nombre,sitio,hora,lugar,especialidad,observación): 
    con = pymysql.connect(host='localhost', usuario='raíz', contraseña='123456', base de datos='prueba') cursor = 
    con. cursor() 
    sql = "insertar en valores de empleo (nombre, sitio, hora, lugar, especialidad, comentario) (%s,%s,%s,%s,%s,%s)" infor_list = [nombre, sitio 
    , hora, lugar, especialidad, comentario] 
    cursor.execute(sql, infor_list) 
    cursor.close() 
    con.close() 
    print("数据存储成功!") 

def data_store(): 
    get_path() 
    for path in message_list: 
        url = "http://www.scetc.cn/"+encabezados 
        de ruta = {"User-Agent": "Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident / 5.0)"}
        respuesta = solicitudes.solicitud(url=url, encabezados=encabezados, método="GET") 
        respuesta.codificación = 'utf-8'
        htmls = respuesta.texto 
        sopa = BeautifulSoup(htmls, 'lxml') 
        lista = sopa.select('div[clase="flat-wrapper"] table tr td') 
        empleo = [] 
        for a in list: 
            content = a. string 
            empleo .append(contenido) 
        print(empleo) 
        #add(empleo[1], empleo[3], empleo[5], empleo[7], empleo[9], empleo[11]) if __name__=='__ 

main__ ': 
    almacén_de_datos()

Supongo que te gusta

Origin blog.csdn.net/weixin_57803787/article/details/124873903
Recomendado
Clasificación