app爬虫相关问题笔记

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/weixin_43256057/article/details/99461423

A

B

C

D

E

F

G

H

I

J

K

L

M
Mac地址(反爬):爬虫请求头千万不要携带mac地址!最常用的有域名地址、Ip地址、MAC地址三种方式,它们分别对应于OSI模型中的应用层、网络层、数据链接层。通常IP地址是不断变化的,而MAC地址是计算机的物理网卡唯一对应的地址,好比每个人都有唯一对应的身份证号码一样具有唯一性。所以如果访问服务器时带上mac地址就很容易被对方发现你短时间发送大量的请求过来,肯定是爬虫,就把你封掉了,如果被封的是Mac地址,除非你把网卡换掉,否则容易都抓不到目标网站的数据。
N

O

P

Q

R

S

T

U
url相关:
当你用fiddler找不到视频上那样的包时,不是操作问题则先仔细看看是否有重复名字或url的包,包的url和视频上的一致但响应内容却不一致,那是因为目标网站做反爬了,返回给浏览器的json字符串是假的(相比真实的数据缺少了有价值的那一部分数据),但是你把它的url发送请求后得到的json响应数据却是真实的。

V

W

X

Y

Z

猜你喜欢

转载自blog.csdn.net/weixin_43256057/article/details/99461423