Recientemente, realmente tengo dificultades con Dianping.Las medidas anti-rastreador de Dianping también son muy poderosas.
Intenté usar Selenium para acceder directamente a la página antes, pero no fue posible. Después de que se detectó la automatización, me vi obligado a saltar a la página de verificación. El deslizamiento manual todavía falló, mierda
Así que pensé en usar la cookie después de iniciar sesión para acceder. Vi algunos artículos que decían que accedí desde la cookie devuelta al navegador. Resultó que la página de detalles de Dianping no existía, carajo.
Ok, usamos directamente el programa para obtener la cookie devuelta
Este método requiere inicio de sesión manual, y la cookie se obtiene una vez, y luego la cookie se puede usar hasta que caduque.
def getCookies():
url = "http://www.dianping.com/"
brower.get("https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F")
while True:
print("Please login in dianping.com!")
time.sleep(3)
while brower.current_url == url:
tbCookies = brower.get_cookies()
print(tbCookies)
brower.quit()
Esto obtendrá la lista de cookies después de iniciar sesión
Ahora usamos esto para acceder a la página
brower.get('https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F')
for c in c_list:
brower.add_cookie({
"domain": ".dianping.com",
"name": c['name'],
"value": c['value'],
"path": '/',
"expires": None
})
brower.get('http://www.dianping.com/shop/128895900')
c_list es la lista de cookies obtenida antes
Vale la pena señalar que debe visitar su página de inicio de sesión antes de agregar una cookie; de lo contrario, no sabrá qué cookie de sitio web se agrega
De esta forma podemos acceder directamente a páginas a las que no se puede acceder directamente usando selenium