Visão geral do ambiente de desenvolvimento e rastreador de Anacanda

Ambiente de desenvolvimento de Anacanda

• O Anaconda é um ambiente integrado baseado em análise de dados e aprendizado de máquina, que integra vários ambientes e módulos correspondentes à análise de dados e aprendizado de máquina.
• jupyter: é uma ferramenta de codificação baseada na visualização do navegador fornecida pelo ambiente integrado da Anaconda
• Assuntos que precisam de atenção
  • Você só precisa instalar o Anaconda ao configurar o ambiente.O caminho da instalação deve estar em inglês puro e nenhum símbolo especial pode aparecer.
• Teste se a instalação foi bem-sucedida:
  • Abra o terminal: jupyter notebook e pressione Enter, indicando que a instalação foi bem-sucedida e as variáveis ​​de ambiente também foram configuradas com sucesso
  • Em todos os seus programas (clique no botão do Windows), localize se existe uma pasta chamada anaconda.Clique no arquivo.Se um programa chamado navegador aparecer na pasta, significa que a instalação foi bem-sucedida. Só que as variáveis ​​de ambiente não estão configuradas.

Como iniciar o jupyter

• Método 1: Configure as variáveis ​​de ambiente, insira diretamente o notebook jupyter no terminal e pressione Enter
• Método 2: Sem configurar variáveis ​​de ambiente, abra o navegador, clique na opção inicial no canto superior esquerdo e clique em baixo no ícone do bloco de notas jupyter para iniciar
  • Recomendação: Clique no ambiente no canto superior esquerdo

Abra o terminal clicando em abrir terminal, cd na pasta que você deseja usar (na letra da unidade). Digite o notebook jupyter no terminal e pressione enter

Uso básico de jupyter

• Depois de inserir o comando jupyter notebook no terminal, significa que iniciamos um serviço nesta máquina. Em seguida, ele abrirá automaticamente o navegador padrão.
  • Nota: Ao executar o terminal de comando do jupyter notebook, é possível inserir o diretório especificado e executar o comando do jupyter notebook, a página exibida pelo navegador aberto é a estrutura de diretórios do diretório correspondente ao seu terminal atual.
    • A estrutura de diretórios correspondente ao seu terminal é o diretório raiz na página jupyter aberta pelo seu navegador.

novo:

• python3: Crie um novo arquivo de origem jupyter (ênfase)

  • Consiste em célula: célula é uma linha de caixas editáveis
  • O papel da célula:
    • Usado para escrever código e notas de acordo com diferentes modos. O código e as notas escritas podem ser executados diretamente no arquivo atual e os resultados em execução podem ser visualizados!
  • modo celular:
    • código: código Python pode ser escrito
      • A célula do modo de código pode escrever uma linha de código ou várias linhas de código.
      • Recursos: A ordem de escrita do código não importa, mas a ordem de execução do código deve ser descendente.
        • Desde que as variáveis, funções ou classes relacionadas (definições relacionadas) sejam definidas em uma célula, quando a célula for executada, o conteúdo definido será carregado no cache do arquivo de origem atual e será expresso em qualquer outra célula Para usar diretamente a definição definida anteriormente carregada no cache.
    • markdown: Escreva notas. Você pode usar instruções integradas de remarcação para especificar o estilo do texto, ou pode usar tags html para especificar o estilo do texto.

• pasta: crie uma nova pasta

• arquivo de texto: crie um novo arquivo de texto com qualquer sufixo

  • Você pode escrever programas, mas não pode executar diretamente neste arquivo.

• terminal: Crie um novo terminal baseado em navegador (usado ao baixar pacotes, pip install xxxx)

  Uso de teclas de atalho

  • Inserir célula: insira a acima para criar ae insira a abaixo para adicionar b

  • Excluir célula: x

  • Executar célula: shift + enter

  • Mudar o modo de célula: m, y

  • Após a célula ser executada, clique duas vezes no lado esquerdo da célula para retornar ao modo editável da célula.

  • Recuperação dos resultados da execução: clique duas vezes no lado esquerdo dos resultados da execução

  • Abra o documento de ajuda: shift + tab

  • guia: preenchimento automático

  • Desfazer: z

    O arquivo de origem do jupyter pode ser exportado após a gravação:

  • Arquivo - Download como- HTML

Visão geral do réptil

• O que é um réptil?
  • É o processo de escrever um programa para simular o navegador para ficar online e, em seguida, capturar os dados na Internet.
    • Extração de palavras-chave:
      • Simulação: o navegador é uma ferramenta de rastreador puramente natural e original.
      • Rastrear:
        • Pegue uma página inteira de dados do código fonte
        • Pegue dados locais de uma página inteira
• Classificação de répteis:
  • Réptil comum:
    • Peça-nos para rastrear uma página inteira de dados de origem
  • Focus Reptile
    • Solicitação para rastrear dados locais em uma página
      • Répteis focados devem ser baseados em répteis universais.
  • Rastreador incremental:
    • Usado para monitorar o status das atualizações de dados do site, para rastrear os dados atualizados mais recentes do site.
  • Rastreador distribuído:
    • A melhor arma para aumentar a eficiência do rastreamento.
• Mecanismo anti-escalada
  • É aplicado ao portal. Se o site não desejar que o rastreador rastreie facilmente os dados, ele poderá formular mecanismos ou medidas relacionadas para impedir que o rastreador rastreie seus dados.
• Estratégia anti-escalada
  • É usado em programas de rastreador. Nós, os rastreadores, podemos formular estratégias relevantes para interromper o mecanismo anti-escalada para rastrear dados relevantes.
• O primeiro mecanismo anti-escalada:
  • Protocolo de robôs: anti-cavalheiro, não anti-vilão
    • É um contrato de texto sem formatação, que estipula quais dados neste site podem ser rastreados por quais rastreadores e quais não podem ser rastreados.
  • Rachadura: (não compatível)
    • Seu próprio desrespeito subjetivo por este acordo é suficiente.