Selen
Die Anzahl der Sterne auf GitHub beträgt Stand September 2023 27,7K.
Selenium ist ein browserbasiertes Automatisierungstool, das das Bedienverhalten des Benutzers im Browser simulieren und den Inhalt auf der Webseite abrufen kann. Selenium unterstützt mehrere Browser und verarbeitet JavaScript-generierte Inhalte gut. Allerdings läuft Selenium im Vergleich zu anderen Frameworks langsamer.
WebMagic
Die Anzahl der Sterne auf GitHub (Stand September 2023) beträgt 10,9K.
WebMagic ist ein verteiltes Crawler-Framework auf Java-Basis. Es nutzt Technologien wie Multithreading und asynchrone E/A, um Website-Daten effizient zu crawlen. WebMagic bietet einen umfangreichen Plug-in-Mechanismus und unterstützt Funktionen wie benutzerdefinierte Parser und Prozessoren. Es ist jedoch zu beachten, dass WebMagic das Rendern von Seiten mit JavaScript nicht unterstützt.
Sind p
Die Anzahl der Sterne auf GitHub (Stand September 2023) beträgt 10,3K.
Jsoup ist ein Java-HTML-Parser, der eine benutzerfreundliche API bereitstellt, mit der wir Daten aus einer URL, einer Datei oder einem String extrahieren und verarbeiten können. Im Vergleich zu anderen Frameworks ist Jsoup bequemer, einfacher und gut lesbar. Wenn Sie sich jedoch mit JavaScript-generierten Inhalten befassen müssen, müssen Sie diese separat betrachten.
Crawler4j
Die Anzahl der Sterne auf GitHub (Stand September 2023) beträgt 4,4K.
Crawler4j ist ein Open-Source-Java-Crawler-Framework. Es nutzt Multithreading- und Speicher-Caching-Technologie und kann Funktionen wie URL-Filter und Parser anpassen. Crawler4j unterstützt Funktionen wie die Begrenzung der Crawlertiefe und das Festlegen von Crawling-Verzögerungen und kann in Verbindung mit Suchmaschinen wie Lucene verwendet werden. Es ist jedoch zu beachten, dass Crawler4j das Rendern von Seiten mit JavaScript nicht unterstützt.
Apache Nutch
Die Anzahl der Sterne auf GitHub (Stand September 2023) beträgt 2,7K.
Apache Nutch ist ein Open-Source-Webcrawler-Framework auf Java-Basis. Es nutzt Multithreading und verteilte Technologie und unterstützt benutzerdefinierte URL-Filter, Parser und andere Funktionen. Apache Nutch verarbeitet mit JavaScript generierte Inhalte gut und unterstützt die Verwendung mit Suchmaschinen wie Solr. Allerdings ist zu beachten, dass Apache Nutch eine steile Lernkurve hat.
HtmlUnit
GitHub Star-Zählung, Stand September 2023: 731
HtmlUnit ist ein Java-basierter Browser ohne grafische Benutzeroberfläche, der das Browserverhalten simulieren und Inhalte auf Webseiten abrufen kann. HtmlUnit unterstützt das Rendern von JavaScript-Seiten und kann Anforderungsheader, Cookies und andere Informationen anpassen. Allerdings ist zu beachten, dass HtmlUnit langsamer läuft als andere Frameworks.