1. Breve descrição
Jingdong, Taobao, Tmall, Taote, Pinduoduo, Alibaba, 1688, Douyin, Suning, Amazon China, lazada, AliExpress e mais de 50 plataformas conhecidas no mundo capturam dados, armazenam no banco de dados e analisam
2. Pegue o DIC
the_basic_info = {
'search_keyword': self.keyword, "palavra-chave usada"
'last_crawling_timestamp': datetime.now(), "tempo atual de rastreamento"
'plataforma': 'JD', "plataforma de rastreamento"
'product_name': product_name , "Produto Name"
'seller_name': seller_name, "Nome da empresa"
'sku_id': _data_pid, "ProductId"
'default_price': float(final_price), "Preço final" '
final_price': 0,
'item_url': _http, "Endereço da web do produto "
'comments_ave_score':float(score_avg), "classificação do produto"
'comments_count': comment_count, "número de análises de produtos"
'images': img, "Endereço da imagem do produto"
'current_stock': location_list, "Endereço de armazenamento do produto"
'search_rank': classificação, "Classificação sob o índice de pesquisa atual"
'search_order': ordem, "Índice atual (por volume de vendas, Preço, popularidade, etc.)"
'seller_url': seller_url, "Endereço da página da web do vendedor"
'comments_list': comment_list "Comentários específicos, suporte para rastreamento de 100 comentários"
}
um exemplo:
Product_name Dell Inspiron 15PR-6748B Laptop para jogos de 15,6 polegadas (i7-7700HQ 8G 128GSSD+1T GTX1050 4G IPS) preto last_crawling_timestamp 28/12/2017 20:20:09.684290 seller_name Loja principal autônoma Dell JD sku_ id
482473
3
default_price
6599.0
item_url 【 DELL Inspiron 15PR-6748B】Dell DELL Inspiron 15,6-inch Gaming Laptop (i7-7700HQ 8G 128GSSD+1T GTX1050 4G Independent Display IPS Fast Heat Dissipation) Black【Quotation Price Evaluation】-Jingdong comments_count 72000 comments_ave_score 5.0 images [
'
http
: // img13.360buyimg.com/n7/jfs/t12472/179/736139380/319777/f266f597/5a128bf6N079a87ba.jpg ']
search_rank 1
seller_url O carro-chefe oficial auto-operado da Dell da JD.com Shop - JD.com
comments_list [{'content_score': 5, 'content_time': '2017-12-05 18:54:31', 'content_title': Nenhum, 'content': 'Foi usado por quase um mês, deixe-me dizer-lhe sobre a experiência. Comprei na madrugada do dia 9 de novembro e chegou na tarde do mesmo dia. A embalagem é simplificada e há uma caixa Dell na bolsa Jingdong. O computador tem uma boa aparência, tipo de pele do lado A e a ventilação traseira é muito bonita. O computador não é leve e fino, porque é um pouco grosso por causa do bom acabamento, mas é um pouco como um livro de jogo. Há também Shadow Elf 2pro e R720 no dormitório.Comparado com o teclado 2pro, é bastante flexível para digitar, mas a luz de fundo não é tão brilhante quanto os outros dois. Pessoalmente, acho que o R720 tem o melhor toque de teclado e as teclas são maiores. Vamos falar do incomparável entre R720 e 2PRO e a game box, que é o subwoofer, a qualidade do som é muito boa, os três colegas de quarto todos elogiaram e invejaram a qualidade sonora da game box. Então meu computador também se tornou o aparelho de som do nosso dormitório. . . A tela é uma gama de cores ips45. Para aqueles que já usaram telas TN antes, acho que essa tela de computador é muito boa. Vamos falar sobre desempenho. Na verdade, desempenho é a última coisa a mencionar. A configuração está toda lá. Master Lu tem uma pontuação contínua de quase 18.000. 1050ti pode lidar com a maioria dos jogos autônomos em grande escala e a qualidade da imagem no jogo pode funcionar sem problemas. Ao executar um jogo grande, o ventilador funcionará com capacidade total e o som é um pouco alto (boa dissipação de calor e baixo ruído não podem ser alcançados ao mesmo tempo), presto mais atenção à dissipação de calor, para que não importa se o ventilador é mais alto, soa bastante emocionante. Discos rígidos de estado sólido (não protocolo nvme) e mecânicos são relativamente ruins e levam cerca de dez segundos para inicializar. Vamos resumir. Vantagens: 1. Alta aparência 2. Boa dissipação de calor 3. Excelente acabamento 4. Configurar o subwoofer Desvantagens: 1. Tela ips de baixo custo 2. Ligeiramente grosso e pesado 3. O disco rígido é ruim'}]
3. Teste?
if __name__ == "__main__":
j = JDMonitoringEngine()
j.set_searching_url(_keyword="dell", _page_limit=1, _order=["vendas"])
url_list = j.url_list
for _index, url_dict in enumerate(url_list):
logger.info("Enviando {0}/{1} url dict para extração de informações básicas".format(
(_index + 1), len(url_list)))
results = list(map(lambda x: j.get_basic_info(x) , url_dict))
Altere _keyword, _page_limit e _order no método principal jd_monitoring_engine
para os exemplos que deseja testar. Os três parâmetros são palavras-chave, páginas de pesquisa e índice de pesquisa.
4. Código de encapsulamento da interface
1. Método de solicitação: HTTPS GET POST
2. Parâmetros públicos:
| nome | tipo | deve | descrever |
|---|---|---|---|
| chave | Corda | sim | Chave de chamada (deve ser emendada na URL no modo GET) |
| segredo | Corda | sim | Chave de chamada (cópia vxin:Taobaoapi2014 ) |
| api_name | Corda | sim | Nome da interface da API (incluído no endereço da solicitação) [item_search, item_get, item_search_shop, etc.] |
| cache | Corda | não | [sim, não] O padrão é sim, os dados em cache serão chamados e a velocidade é relativamente rápida |
| tipo_resultado | Corda | não | [json,jsonu,xml,serialize,var_export] retorna o formato de dados, o padrão é json e o conteúdo gerado por jsonu pode ser lido diretamente em chinês |
| idioma | Corda | não | [cn,en,ru] idioma de tradução, padrão cn chinês simplificado |
| versão | Corda | não | versão da API |
3. Parâmetros de solicitação:
Configurações:q=start_price=0&end_price=0&page=1&cat=0&discount_only=&sort=&seller_info=no&nick=&seller_info=&nick=&ppath=&imgid=&filter=
Descrição do parâmetro: q: palavra-chave de pesquisa, url de suporte
cat: ID da categoria
start_price: preço inicial
end_price: preço final
sort: sort [bid,_bid,_sale,_review,_new]
(bid: preço total, venda: volume de vendas, número de avaliações , novo novo produto, adicione prefixo _ para classificar de grande para pequeno) <
página:
4. Solicite amostras de código, suporte a solicitações simultâneas altas (CURL, PHP, PHPsdk, Java, C#, Python...)
# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api-vxin.Taobaoapi2014.cn/jd/item_search/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&q=女装&start_price=0&end_price=0&page=1&cat=0&discount_only=&sort=&seller_info=no&nick=&seller_info=&nick=&ppath=&imgid=&filter="
headers = {
"Accept-Encoding": "gzip",
"Connection": "close"
}
if __name__ == "__main__":
r = requests.get(url, headers=headers)
json_obj = r.json()
print(json_obj)5. Devido ao limite de caracteres do artigo, o exemplo de resposta não será exibido por enquanto.
