[シリーズ] 3.Fiddlerのpython爬虫類チュートリアル

セクションIII:フィドラーチュートリアル
3.0はじめ
フィドラーは、その後、私たちは分析ページでは、ブラウザの開発ツールを持っていない、それを使用し、より専門的にすることができ、C#HTTPネットワークパケットキャプチャツールで書かれたのは良いの使用でありますデバッグ内部のページリクエストパラメータのインテリジェントフィドラー。
これは、記録し、HTTPのバイオリン弾き「のうち、」(参照クッキーのすべてのために、コンピュータとインターネット、ブレークポイントを設定、ビューデータ間のすべての通信、HTML、JS、CSSファイルなどを調べることができ、プロキシHTTPプロトコルのデバッグツールです。 )、さらには要求されたデータは、サーバ内のデータを変更するための自動リダイレクト要求を変更します。それだけでなく、公開のhttpニュースレターもユーザーフレンドリーなフォーマットを提供するため、他よりもフィドラーのWebデバッガは、よりシンプルなものにします。
3.1Fiddlerプロセスは、
すべてのクライアント要求は、フィドラーを通過し、適切なサーバに転送し、その逆もまた同様で、サーバは最初にしてフィドラーを介してクライアントに送信して応答します、それはすべてのHTTPプロキシブラウザは127.0.0.1:8888に設定することができますサポートしていますそして、アプリケーション。
ここに画像を挿入説明

これは、ブラウザとサーバ「仲買人」として、Fidderを表現することができます

3.2ダウンロードフィドラー
1)最初のダウンロードでは、ダウンロードは良いですが、直接の後にインストールすることができます。
https://www.telerik.com/download/fiddler
ここに画像を挿入説明
結果は、フィドラーは、インストールディレクトリを開始発見した後のようになります。
ここに画像を挿入説明

2)启动Fiddler
Fiddler一旦启动就会自动开始工作,我们此时打开浏览器随便点击几个页面就可看到Fiddler抓取了许多网络包。
Fiddler想要抓到数据包,要确保Capture Traffic是开启,在File –> Capture Traffic。开启后再左下角会有显示,当然也可以直接点击左下角的图标来关闭/开启抓包功能。
ここに画像を挿入説明
3)Fiddler讲解
选择tools里的options,进入coonections

端口设置一般为8888,当然也可以更改,要保证和浏览器一致
注意:Chrome 使用fiddler 代理
设置 高级 系统 打开代理设置 为lAN设置代理
端口可以自己设置,只需要Fiddler与chrome相同就可

ここに画像を挿入説明
ここに画像を挿入説明

四个选项卡分别为
抓取TFP(和邮件类似,现在用的很少),抓取远程(手机),本地客户端,服务器
(下面两个是默认,上面两个可选)

常用命令:
Replay 重新抓取
Remove all 清除所有
字段说明:
(左边):
名称 含义

#抓取HTTP Request的顺序
从1开始,以此递增
Result HTTP状态码
Protocol 请求使用的协议,如HTTP/HTTPS/FTP等
*Host 请求地址的主机名(域名)
*URL 请求资源的位置
*Body 该请求的大小
*Caching 请求的缓存过期时间或者缓存控制值
Content-Type 请求响应的类型
Process 发送此请求的进程:进程ID
Comments 允许用户为此回话添加备注
Custom 允许用户设置自定义值

Statistics 请求的性能数据分析
随意双击左侧的一个网络包,右侧的inspectors里就可以查看请求内容,与浏览器开发者选项卡中的内容相同。
ここに画像を挿入説明
这个页面是一些基本信息,包括各个操作的时间,访问经过的国家等内容
(一般不会用到。)

Inspectors是用于查看会话的内容,上半部分是请求的内容,下半部分是响应的内容,你可以选择展现的方式,常用的就是Raw,Json,Cookies等

Fiddler命令行:
ここに画像を挿入説明
你可以输入help获取官方文档了解fiddler的命令行使用方式,这里不再一一赘述。
3.3 Fiddler模拟场景
在Ruels里边可以模拟各种情景
1.请求之前进行登陆验证
2.对网页进行压缩,测试性能
3.模拟不同客户端的请求
4.模拟网速不同情况,测试页面容错性
5.禁用缓存,方便调试服务器静态资源
Rules:
ここに画像を挿入説明
Hide Image Requests :隐藏照片
Hide CONNECTs :隐藏握手
一般我们的都会把这两个打开,以过滤我们不需要的东西
Automatic Breakpoints :断点传输

Before: 请求前抓包
After: 请求后抓包
当然我们使用不多,多用于黑客方面

Customize Rules… :打卡配置java脚本文件,
你可以修改,比如自定义一个user-agents
Apply GZIP Encoding :压缩页面,以适应更好的性能
User-Agents :在其中你可以自己设定你得user-agents
ここに画像を挿入説明

Performance:
ここに画像を挿入説明
Simulate Modem Speeds:模拟网速慢的情况访问
Disable Caching:禁用缓存
3.4 Fiddler抓取https
对称加密:一把钥匙对应一把锁(http)
ここに画像を挿入説明
黑客可以在你开门时候复印一把副本钥匙,就可以轻松进你家了
服务器和客户端是同一私钥,只要中间人获取一个,就可以破解内容,

非对称加密:公钥(服务器)主用于加密,私钥(个人)主用于解密
即使存在中间人,盗取了你的公钥,他也无法解密,不知道其中的内容是什么
ここに画像を挿入説明
可是这样还无法解决中间人截取服务器派发公钥被拦截的过程,如下图

第三方认证:(https)公钥之所以被掉包,就是因为浏览器不能确认是不是服务器发过来的公钥,本质是密码学问题
ここに画像を挿入説明
浏览器得到证书会直接在本地根证书进行比对寻找对于公钥解密签名,
之后再利用证书的签名生成规则进行匹配,如果不同就不能通过认证
这样即使中间人获取了公钥也是没用的
对于HTTPS网站的信息我们是无法查看的
ここに画像を挿入説明

不过我们可以通过伪造CA证书来欺骗浏览器和服务器,从而实现HTTPS解密,就是把Fiddler伪装成为一个HTTPS服务器,在真正的HTTPS服务器面前Fiddler又伪装成浏览器。
ここに画像を挿入説明
接下来点开
HTTPS选项卡,勾选Decrypt HTTPS
ここに画像を挿入説明

全部选是,之后再次访问HTTPS网站就可以抓包查看了。

3.5 Fiddler抓包手机APP
Fiddler在如图位置,或者可以在cmd中ipconfig找到自己的网卡IP)

ここに画像を挿入説明
ここに画像を挿入説明
あなたが携帯電話を開いた後、IPおよびポートのコンピュータの終わりのためのプロキシ設定で、電話設定で電話は、あなたが自分のBaiduのに必要な携帯電話のさまざまな環境設定、ので、我々は電話でエージェントを設定、コンピュータアドレスが192.168.1.1であると仮定しますモバイルブラウザを開き、192.168.1.1:8888を入力して、インターフェイスが表示されます以下の
ここに画像を挿入説明
最下層をクリックして
FiddlerRoot centificate、ダウンロードして証明書をインストールします。
最後に、あなたの携帯電話APP Baiduは、あなたがコンピュータの終わりに巻き込ますることができます。

テストするための3.6フィドラー書面
右側のサイドバーにオープン作曲を
ここに画像を挿入説明
、このようなBaiduのページへの当社のアクセスとしては、例えば、
ここに画像を挿入説明
実装は、getと同等のものを実行することです

ここに画像を挿入説明リターンは、このパラメータを削除することができればもちろん、あなたも私たちは、URLの長さを短くするために重要なパラメータを特定することができ、そうでなければ、このパラメータを残して、この特性パラメータ調整を使用することができます

3.7他のツール
例えば郵便配達(類似フィドラー)として、のJMeter(マノメトリー)

公開された28元の記事 ウォン称賛25 ビュー2031

おすすめ

転載: blog.csdn.net/AI_LINNGLONG/article/details/104463843