Javaを使用してフォームデータをクロールするにはどうすればよいですか?

フォームデータをクロールするには、HTTP リクエストをシミュレートし、フォームデータをリクエストパラメータとして Web サイトサーバーに送信する必要があります。Java には、Apache HttpClient、OkHttp など、HTTP リクエストの送信に使用できるライブラリが多数あります。

Apache HttpClient ライブラリを使用してフォームデータを含む POST リクエストを送信するサンプルコードを次に示します。

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.client.HttpClient;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class FormSubmitExample {
    public static void main(String[] args) throws IOException {
        HttpClient httpClient = HttpClientBuilder.create().build();
        HttpPost httpPost = new HttpPost("http://example.com/submit-form");

        // Add form data
        List<NameValuePair> params = new ArrayList<>();
        params.add(new BasicNameValuePair("name", "John Doe"));
        params.add(new BasicNameValuePair("email", "[email protected]"));
        params.add(new BasicNameValuePair("message", "Hello, world!"));
        httpPost.setEntity(new UrlEncodedFormEntity(params));

        // Execute the request and get the response
        HttpResponse response = httpClient.execute(httpPost);
        HttpEntity entity = response.getEntity();
        String responseString = EntityUtils.toString(entity, "UTF-8");
        System.out.println(responseString);
    }
}

上の例では、最初にオブジェクトを作成しHttpClient、次にHttpPostオブジェクトを作成して、フォームデータを送信する URL を設定しました。次に、Listオブジェクトを作成し、それにフォームフィールドと値を追加しました。次に、Listこのオブジェクトを URL エンコードされたフォームエンティティにエンコードし、それをHttpPostオブジェクトのエンティティとして設定します。最後に、リクエストを実行してレスポンスを取得し、レスポンスエンティティからレスポンス文字列を抽出します。

特定の Web サイトとフォームフィールドに基づいて変更する必要があります。上記のサンプルコードを使用して、リクエストヘッダー内のフォームフィールドと値に関する情報を検索し、サーバーに送信できます。

Javaを使用してフォームデータをクロールするにはどうすればよいですか?

おすすめ