JAVA Webクローラー01-httpクライアントがネットワークコンテンツをクロールする

Webクローラーは、特定のルールに従ってWorld WideWeb情報を自動的にクロールするプログラムまたはスクリプトです。私たちは常にHTTPプロトコルを使用してインターネット上のWebページにアクセスしてきましたが、Webクローラーは、同じHTTPプロトコルを使用してWebページにアクセスするプログラムを作成する必要があります。ここでは、JavaのHTTPプロトコルクライアントHttpClientのテクノロジーを使用してWebページデータをキャプチャします。

環境への備え

Mavenの依存関係を導入する

  <!-- HttpClient -->
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.5.3</version>
    </dependency>

    <!-- 日志 -->
    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
      <version>1.7.25</version>
    </dependency>

ログ構成ファイルを追加します

log4j.rootLogger=DEBUG,A1
log4j.logger.cn.itcast = DEBUG

log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n

httpリクエストを取得

コードは次のように表示されます。

public static void getTest()throws Exception{
    CloseableHttpClient httpClient = HttpClients.createDefault();
    HttpGet httpGet = new HttpGet("http://www.itcast.cn?pava=zhangxm");
    CloseableHttpResponse response = httpClient.execute(httpGet);
    if (response.getStatusLine().getStatusCode() == 200) {
        String content = EntityUtils.toString(response.getEntity(), "UTF-8");
        System.out.println(content);
    }
}

httpPOSTリクエスト

/**
     * java 代码发送post请求并传递参数
     * @throws Exception
     */
    public static void postTest () throws Exception{
        //创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();

        RequestConfig requestConfig = RequestConfig.custom()
                .setConnectTimeout(1000)//设置创建连接的最长时间
                .setConnectionRequestTimeout(500)//设置获取连接的最长时间
                .setSocketTimeout(10 * 1000)//设置数据传输的最长时间
                .build();

        //创建HttpGet请求
        HttpPost httpPost = new HttpPost("http://www.itcast.cn/");
        httpPost.setConfig(requestConfig);
        CloseableHttpResponse response = null;
        try {

            //声明存放参数的List集合
            List<NameValuePair> params = new ArrayList<NameValuePair>();
            params.add(new BasicNameValuePair("pava", "zhangxm"));

            //创建表单数据Entity
            UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(params, "UTF-8");

            //设置表单Entity到httpPost请求对象中
            httpPost.setEntity(formEntity);
            //使用HttpClient发起请求
            response = httpClient.execute(httpPost);
            //判断响应状态码是否为200
            if (response.getStatusLine().getStatusCode() == 200) {
                //如果为200表示请求成功，获取返回数据
                String content = EntityUtils.toString(response.getEntity(), "UTF-8");
                //打印数据长度
                System.out.println(content);
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            //释放连接
            if (response == null) {
                try {
                    response.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
                httpClient.close();
            }
        }


    }

httpクライアント接続プール

リクエストごとにHttpClientを作成する必要がある場合、作成と破棄の問題が頻繁に発生します。接続プールを使用してこの問題を解決できます。

/ **

• 毎回新しいクライアントを作成したり破棄したりせずに、httpClient接続プールを使用します
• @throws IOException
  * /
  public static void connPoolTest（）throws IOException { PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager（）; //設定す・接数cm.setMaxTotal（200）; //設定每ホスト主机的協力ρ数cm.setDefaultMaxPerRoute（20）; for（int i = 0; i <10; i ++）{ CloseableHttpClient httpClient = HttpClients.custom（）。setConnectionManager（cm）.build（）; System.out.println（“ httpClient：” + httpClient）; httpClient.close（）; } }