requisitos de missão
1. Rastreie as informações de aluguel em 58.com no distrito de Longhua, Shenzhen (preço de aluguel 2.000-4.000)
① Abra 58.com e confirme os critérios de filtro
② Determine o número de páginas e as regras de extração XPath de página única
③ Determine as regras de composição de URL para cada página
Depois de concluir as etapas de análise acima, você pode começar a escrever scripts de rastreador:
① Encontre os cabeçalhos dos parâmetros antiescalada
② Analise a página e encontre o parâmetro 1 —— link da imagem
③ O roteiro está escrito! Mas o número de visitas ip é limitado
Em circunstâncias normais, apenas 1 página de informações de listagem pode ser obtida
Extraia o ip diretamente:
Copie o ip para o arquivo ip.txt para substituir:
O processo de rastreamento é incrível, não sei qual é o problema:
Estima-se que seja problema de ip, toda vez que subir vai dar isso, mas o local é diferente
Mobilize a API do mapa Gaode para exibir listagens
A seguir, uma captura de tela do Pycharm em execução:
Precauções
① Quando não estiver em uso, não rastreie, ou o arquivo CSV rastreado antes será substituído. Durante a demonstração, adquira você mesmo o pool de proxy ip e substitua o conteúdo do arquivo ip.txt de acordo com os requisitos do documento.
② O tempo livre padrão da API AutoNavi solicitada é de 6000 vezes. Preste atenção ao número de vezes de uso. Se o número de vezes exceder, você precisará aplicar novamente, caso contrário, um erro será relatado.
③ No momento, o rastreamento do teste 58 não é problema. Quando a estrutura da página da Web permanece inalterada, o código é válido
④ O pacote do módulo de terceiros python ausente, faça o download por conta própria (através do comando pip)
⑤ Não execute o task1_climbing ip agent.py na pasta, pois o ip rastreado é inválido
Adicione vários processos para acelerar o rastreamento:
Operação do terminal: python -m http.server 3000 Navegador aberto: http://0.0.0.0/
Botão direito do mouse para executar: task4_Call Gaode map API.html Importe "arquivo CSV após adicionar latitude e longitude.csv" para ver o efeito
ttp://0.0.0.0:3000/)
Botão direito do mouse para executar: task4_Call Gaode map API.html Importe "arquivo CSV após adicionar latitude e longitude.csv" para ver o efeito