From：https://blog.csdn.net/Greepex/article/details/72717057

暗网（深网，不可见网，隐藏网）是指那些储存在网络数据库里、不能通过超链接访问而需要通过动态网页技术访问的资源集合，不属于那些可以被标准搜索引擎索引的表面网络。
动态网页的url不固定，但可以被爬虫爬取，这是第一个点。
由于相关法律风险，本暗网爬虫代码不开源，但我会将我所理解的核心内容记录。
代码环境为ubuntu，使用语言python，使用库urllib2，socks, socket。
这里不用requests库，在参考许多教程如：https://github.com/kennethreitz/requests/issues/3863 后发现，requests似乎无法使用socks5的代理端口，遂弃之

进入暗网的“门”为 TorBrowserb 或者 Tor
注意：torbrowser 和 tor 并非一个东西，torbrowser是基于火狐浏览器的洋葱浏览器，通常用来做暗网入口，而且一般情况下已经足够了，但由于需要代码环境，我使用了纯Tor

以下是我的搭建步骤：

一，安装配置Tor

在ubuntu命令行输入

sudo apt-get install tor
/etc/init.d/tor restart

启动后socks监听9050端口。

tor --hash-password mypassword

用来输入你的密码
编辑/etc/tor/torrc
在其中加上

ControlPort 9051
RunAsDaemon 1
Socks5Proxy 127.0.0.1:1080
HashedControlPassword 16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C

让ControlPort监听9051端口，后边那个16:开头的hash就是上一步得到的。Socks5Proxy是可以使shadowsocks为tor的前端代理（我使用的shadowsocks的端口为1080）
最后重启tor

/etc/init.d/tor restart

（经过曲折的一番探索，可以基本断定，python的stem库控制tor，并不是控制tor浏览器，而是可以利用tor作为自己的匿名代理，或者监视tor的流量走向。stem库目测不能为暗网爬虫做出什么贡献）

二，设置前端代理shadowsocks
这一段本应该放在最前面，但由于本人的shadowsocks完全依靠了舍友的鼎力帮助，这一段还需要往后自己探索。
就本人理解，shadowsocks作为前端代理最主要的功能就是翻墙。。。
对外提供端口为1080。

三，利用Tor的9050端口爬取暗网。
使用urllib2库，socks库作为socks5代理，示例代码如下：

import socket
import socks
import urllib2

ipcheck_url = 'http://checkip.amazonaws.com/'

# Actual IP.
print(urllib2.urlopen(ipcheck_url).read())

# Tor IP.
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', 9050)
socket.socket = socks.socksocket
print(urllib2.urlopen(ipcheck_url).read()

该代码引用自：https://stackoverflow.com/questions/1096379/how-to-make-urllib2-requests-through-tor-in-python

四，总结
tor的本质也是一种socks5代理。所以爬取暗网信息的一个流程就是：
1，我们使用Tor的9050端口（如果你使用的是TorBrowser的话，对外监听端口为9150）
2，Tor使用shadowsocks的1080端口（翻墙）
3，代码环境，爬取内容。

参考博客、论文如下：
【1】http://zzi.io/?p=328
【2】https://github.com/kennethreitz/requests/issues/3863
【3】https://stackoverflow.com/questions/1096379/how-to-make-urllib2-requests-through-tor-in-python
【4】http://blog.csdn.net/yanzi1225627/article/details/51285075

爬虫学习笔记--Tor隐藏Ip

From：https://blog.csdn.net/Qin_xian_shen/article/details/78233969

因为在爬虫时，如果使用了默认的IP 可能导致自己的IP遭到封禁
所以就要隐藏自己的IP
事先说明爬虫要有度也要考虑服务器的压力
本篇基于win10
tor的原理
http://www.cnblogs.com/likeli/p/5719230.html
http://blog.csdn.net/whiup/article/details/52317779
https://www.deepdotweb.com/2014/05/23/use-tor-socks5-proxy

1.安装tor浏览器
http://www.theonionrouter.com/projects/torbrowser.html.en
如果进不去网页那么请自行解决

2.tor的配置请看这篇
https://jingyan.baidu.com/article/adc815137654fbf723bf73b1.html
这样就可以搭建好了tor

python 要安装库

pip install pysocks
pip install stem


import socks
import socket
import requests
 
socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",9150)
socket.socket = socks.socksocket
 
a = requests.get("http://checkip.amazonaws.com").text
 
print a

通过访问：http://checkip.amazonaws.com 会得到一个ip 会发现这个ip已经是隐藏的ip了。

controller.signal(Signal.NEWNYM)

切换 ip

#coding=utf-8
from stem import Signal
from stem.control import Controller
import socket
import socks
import requests
import time
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
 
controller = Controller.from_port(port=9151)
controller.authenticate()
socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",9150)
socket.socket = socks.socksocket
 
total_scrappy_time = 0
total_changeIP_time = 0
for x in range(0,10):
    a = requests.get("http://checkip.amazonaws.com").text
    print ("第"+str(x+1)+"次IP："+a)
 
    time1 = time.time()
    a = requests.get("http://www.santostang.com/").text
 
    time2 = time.time()
    total_scrappy_time = total_scrappy_time + time2-time1
    print ("第"+str(x+1)+"次抓取花费时间："+str(time2-time1))
 
    time3 = time.time()
    controller.signal(Signal.NEWNYM)
    time.sleep(5)
    time4 = time.time()
    total_changeIP_time = total_changeIP_time + time4-time3-5
    print ("第"+str(x+1)+"次更换IP花费时间: "+str(time4-time3-5))
 
print ("平均抓取花费时间："+str(total_scrappy_time/10))
print ("平均更换IP时间："+str(total_changeIP_time/10))

暗网信息爬取

爬虫学习笔记--Tor隐藏Ip

猜你喜欢