缘起于玩唱吧,因为唱吧好友少,访问量低,又不想加什么亲友团之类的,主要是太麻烦了,于是我就琢磨唱吧的访问机制,准备用java的httpclient库来进行刷访问量,想到动态IP重复使用就想到了用多线程来进行刷,但发现速度并没有增快,仍然是刷完一个网址刷下一个网址,这里刷的顺序是随机的。 主要让人伤脑筋的是那代理IP,去网上找了1000多个IP,有好多都是响应速度太慢了,以至于我设定了超时机制,超过一段时间的话就抛出异常并且忽略,只是速度太慢了,有待提高速度!!谁有好的改进的建议欢迎大家来分享,求大家指点。
注:下面的是第一次写的刷访问量代码的第一版,后来想想代码有问题,因为在实际测试中发现虽然用了线程,但是没有真正起到多线程的作用,效率没有得到提升,因为问题也算是学习的重要途径,所以我第一版代码就不改了,给大家作为借鉴。在再后面贴上改进版本的多线程刷访问量代码,这个代码经过测试后发现速度明显得到提升!结果真实有效!
下面列出下面第一版代码的缺陷的原因:
主要就是因为一开始我对多线程编程中的start和run的方法的模糊认识导致的,首先来谈谈什么是两者的区别:
(1)start:
用start方法来启动线程,真正实现了多线程的运行,这是无需等待run方法代码执行完毕就可以直接继续执行下面的代码。通过调用Thread类的start方法来启动一个线程,这是此线程就处于就绪状态,并没有运行,一旦得到了cpu的时间片,就开始执行run方法,这里的run成为线程体,它包含了要执行的这个线程的内容,run方法运行结束,此线程就终止。
(2)run:
run方法只是类的一个普通方法而已,如果直接调用run方法,程序中依然只有主线程这一个线程,其程序执行路径还是只有一条,还是要顺序执行,还是要等待run方法执行完毕后才可以继续执行小面的代码,这样就没有达到写线程的目的了。
因此,在第一个版本的代码中我的线程的启动方法是run,所以没有其他线程产生,所以没有达到多线程的目的。
web_look.java
import java.io.*;
import java.util.*;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.http.params.CoreConnectionPNames;
import org.apache.http.params.HttpConnectionParams;
public class Web_look {
public static void main(String[] args) throws IOException
{
int count=0;
Map<String,String> map =new HashMap<String,String>();
FileReader reader=new FileReader("c://IP.txt");//读取代理IP地址
BufferedReader br=new BufferedReader(reader);
String str=null;
while((str=br.readLine())!=null)//格式写成IP+端口
{
String result[]=str.split("@");
String info[]=result[0].split(":");
map.put(info[0], info[1]);
}
Set<String> set=map.keySet();
Iterator<String> iter=set.iterator();
HttpClient client = new HttpClient();
//设置超时时间
client.setTimeout(10000);
client.setConnectionTimeout(10000);
//设置cookie管理策略
client.getState().setCookiePolicy(CookiePolicy.COMPATIBILITY);
while(iter.hasNext())//不断的取出IP和端口
{
String key=iter.next();
System.out.println(key+":"+map.get(key));
//用try-catch来忽略超时异常继续执行
try{
//设置代理服务器地址和端口
client.getHostConfiguration().setProxy(key,Integer.parseInt(map.get(key)));
//这是用刷的是唱吧的访问量,亲测有效,只不过效率不是怎么高,因为代理服务器有快有慢,所以设置了超时机制。
//而且,貌似一个IP不能连续刷多首歌曲,所以就只能附带刷刷别的网页好了。
MyThread song1= new MyThread("http://changba.com/s/TKSPrlyJgkd4cUir8pGZkQ?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
MyThread song2= new MyThread("http://changba.com/s/48SlsCcpHNiNXPji_VyU5Q?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
// MyThread song3= new MyThread("http://changba.com/s/0GP_YQzqRJOJUHjDbRpPBg?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
// MyThread song4= new MyThread("http://changba.com/s/XXCW9aOqzkiQW1ha1hSMvg?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
// MyThread song5= new MyThread("http://changba.com/s/7HpyApA4gWXoh-V0usAMfw?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
// MyThread song6= new MyThread("http://changba.com/s/8y6IvXu-8uwUrrT7uEtHEA?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
// MyThread song7= new MyThread("http://changba.com/s/lyBc498kdr9N4DgR5lqFCg?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk",client);
song1.run();
song2.run();
// song3.run();
// song4.run();
// song5.run();
// song6.run();
// song7.run();
//使用GET方法,如果服务器需要通过HTTPS连接,那只需要将下面URL中的http换成https
//使用POST方法
//HttpMethod method = new PostMethod("http://changba.com/s/0yKWymXZXeGZcF0P3mM8Bg?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk");
//设置请求头,来模拟浏览器登陆,有些网站需要,有些网站不需要,看具体是什么网站了
// method.setRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;");
// method.setRequestHeader("Accept-Language", "zh-cn");
// method.setRequestHeader("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3");
// method.setRequestHeader("Accept-Charset","encoding");
// method.setRequestHeader("Keep-Alive", "300");
// method.setRequestHeader("Connection", "Keep-Alive");
// method.setRequestHeader("Cache-Control", "no-cache");
//client.executeMethod(method);
//打印服务器返回的状态
//System.out.println(method.getStatusLine());
//打印返回的信息
//System.out.println(method.getResponseBodyAsString());
//释放连接,否则会报错recycle
//method.releaseConnection();
}catch(Exception e)
{
e.printStackTrace();
}
count++;
System.out.println("第"+count+"个IP地址");
}
}
}
Mythread.java
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.methods.PostMethod;
public class MyThread extends Thread{
private String web_name;
private HttpClient client;
public MyThread(String web_name,HttpClient client)
{
this.web_name=web_name;
this.client=client;
}
public void run()
{
HttpMethod method = new PostMethod(web_name);
try
{
client.executeMethod(method);
System.out.println(method.getStatusLine());
System.out.println(method.getResponseBodyAsString());
method.releaseConnection();
}catch(Exception e)
{
e.printStackTrace();
}
}
}
这里的多线程没有起到预期的效果,因为貌似唱吧里面对同一个IP访问多个歌曲只算访问的第一首,所以哪怕写了再多线程也只算访问了第一首,第一首歌访问量加了1,其他的仍然不变。所以,如果有其他页面的话可以附带将其他页面加入多线程来刷。
——————————————————————————————————————————————————— 分割线———————————————————————————————————————————————————
下面我就贴上我的改进版,这个版本真正实现了多线程访问,并且更加具有灵活性,可以多个线程刷相同或者不同的网页,而且可以选择不同的IP地址文件。
web_look.java
import java.io.*;
import java.util.*;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.http.params.CoreConnectionPNames;
import org.apache.http.params.HttpConnectionParams;
public class Web_look {
public static void main(String[] args) throws IOException
{
String web_name=null;
web_name="http://changba.com/s/0yKWymXZXeGZcF0P3mM8Bg?code=Gt1bjDM0qnHCJdoHUPnwOOfDhUzYnTz-KfffnVr9zf7j8kkd7OlN9bo9NlHq5j6rFeHPZ8iGR3663XuAiDYOEcYV2ky5V8Bk";
//用try-catch来忽略超时异常继续执行
try{
Thread threads[]=new Thread[5];
threads[0]= new Thread(new MyThread(web_name,"c://IP.txt"));
threads[1]= new Thread(new MyThread(web_name,"c://IP1.txt"));
threads[2]= new Thread(new MyThread(web_name,"c://IP2.txt"));
threads[3]= new Thread(new MyThread(web_name,"c://IP3.txt"));
threads[4]= new Thread(new MyThread(web_name,"c://IP4.txt"));
for(int i=0;i<5;i++)
{
threads[i].start();
}
}catch(Exception e)
{
e.printStackTrace();
}
}
}
MyThread.java
import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import org.apache.commons.httpclient.methods.PostMethod;
public class MyThread implements Runnable{
private String web_name;
private String IP_file;
private HttpClient client = new HttpClient();
private String str=null;
private FileReader reader;
private BufferedReader br;
private Map<String,String> map =new HashMap<String,String>();
public MyThread(String web_name,String IP_file)
{
this.web_name=web_name;
this.IP_file=IP_file;
}
public void run()
{
try {
reader=new FileReader(IP_file);
br=new BufferedReader(reader);
} catch (FileNotFoundException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}//读取代理IP地址
try {
while((str=br.readLine())!=null)//格式写成IP+端口
{
String result[]=str.split("@");
String info[]=result[0].split(":");
map.put(info[0], info[1]);
}
} catch (IOException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
Set<String> set=map.keySet();
Iterator<String> iter=set.iterator();
//设置超时时间
client.setTimeout(10000);
client.setConnectionTimeout(10000);
//设置cookie管理策略
client.getState().setCookiePolicy(CookiePolicy.COMPATIBILITY);
while(iter.hasNext())//不断的取出IP和端口
{
String key=iter.next();
System.out.println(key+":"+map.get(key));
try
{
//设置代理服务器地址和端口
client.getHostConfiguration().setProxy(key,Integer.parseInt(map.get(key)));
//这是用刷的是唱吧的访问量,亲测有效,只不过效率不是怎么高,因为代理服务器有快有慢,所以设置了超时机制。
//而且,貌似一个IP不能连续刷多首歌曲,所以就只能附带刷刷别的网页好了。
}catch(Exception e)
{
e.printStackTrace();
}
HttpMethod method = new PostMethod(web_name);
try
{
System.out.println(IP_file);
client.executeMethod(method);
//System.out.println(method.getStatusLine());
//System.out.println(method.getResponseBodyAsString());
method.releaseConnection();
}catch(Exception e)
{
e.printStackTrace();
}
}
}
}