Java爬虫下载网页图片

在Java中,可以使用HttpURLConnection,Jsoup等库来实现网页爬取和图片下载。下面是一个基本的例子:

首先,需要添加Jsoup库到你的项目中。如果你使用Maven,可以在你的pom.xml文件中添加以下依赖:

xml

<dependencies> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.13.1</version> </dependency> </dependencies>

然后,你可以使用以下代码来下载网页上的图片:

public class Main {

public static void main(String[] args) {

String url = "http://example.com";

// 替换为你要爬取的网页

URL String saveDir = "./";

// 图片保存的目录

try {

HttpURLConnection conn = (HttpURLConnection) new URL(url).openConnection(); conn.setRequestMethod("GET");

conn.connect();

String html = Jsoup.parse(new InputStreamReader(conn.getInputStream()));

Document doc = Jsoup.parse(html); Elements imgElements = doc.select("img");

// 选择所有的img元素

for (Element img : imgElements) {

String imgUrl = img.absUrl("src");

// 获取图片的

URL String fileName = imgUrl.substring(imgUrl.lastIndexOf("/") + 1);

// 获取图片的文件名

File file = new File(saveDir + fileName);

// 创建要保存的文件

try (InputStream in = new java.net.URL(imgUrl).openStream()) {

Files.copy(in, file.toPath(), StandardCopyOption.REPLACE_EXISTING);

// 下载图片并保存到指定目录

} catch (IOException e) {

e.printStackTrace();

} } } catch (IOException e) {

e.printStackTrace(); } } } 

这段代码首先打开指定的URL,然后解析HTML并选择所有的img元素。对于每个img元素,它获取图片的URL,然后下载图片并保存到指定的目录。请注意,这只是一个基本的例子,实际的网页可能会有更复杂的结构,可能需要更复杂的解析和选择逻辑。

猜你喜欢

转载自blog.csdn.net/qq_25462179/article/details/132471349