Javaクローラーを使用している場合、URLのフェッチ中にHTTPエラーが発生します。Status= 503

Javaクローラーを使用している場合、URLのフェッチ中にHTTPエラーが発生します。Status= 503

ステータスレポートは503で、サーバーに問題があることを示しています。一瞬でリクエストが多すぎます。例外をキャッチしてからしばらくスリープするように設定できます。

 try {
    
    
          document2 = Jsoup.connect(url).get();
                
             } catch (Exception e) {
    
    
                 Thread.sleep(10000);
  
             }