版权声明:可以胡乱转载。 https://blog.csdn.net/hunyxv/article/details/79457687
在爬取国外被[]墙网站数据时,就必须使用命令行代理了,要不然就得在国外买一台服务器跑了。。
1、首先你需要有一把梯子,梯子教程不讲,[滑稽]
pip insatll shadowsocks
2、然后配置shadowsocks(一个json格式文件):
{
"server":"服务器地址",
"server_port":port,
"local_address":"127.0.0.1",
"local_port":1080,
"password":"password",
"method":"aes-256-cfb",
}
3、然后就是连接服务器,监听端口1080, 关闭 的话可以直接 kill pid
sudo sslocal -c shawsockets.conf -d start
4、安装polipo
Polipo 是一个小而快速的缓存 web 代理程序(web 缓存, HTTP 代理, 代理服务器)。
sudo apt-get install polipo
5、配置polipo
在家目录中创建 .polipo 文件
socksParentProxy = "localhost:1080"
socksProxyType = socks5
6、启动&停止polipo
sudo service polipo start
sudo service polipo stop
7、使用
http_proxy=127.0.0.1:8123 curl ip.gs
Current IP / 当前 IP: 172.93.38.1xx
...
...
/\_/\
=( °w° )=
) ( //
(__ __)//
8、 设置环境变量 然后省去每次使用代理时输入http_proxy
把下面两条命令放在.bashrc 文件里 如果使用的时zsh 就放在.zshrc里
export http_proxy = "127.0.0.1:8123"
export https_proxy = "127.0.0.1:8123"