[Java]知乎下巴第4集：再把抓到篮子里的知乎塞到硬盘里吧

上一回我们说到了如何把知乎的某些内容爬取出来，那么这一回我们就说说怎么把这些内容存储到本地吧。

说到Java的本地存储，肯定使用IO流进行操作。

首先，我们需要一个创建文件的函数createNewFile：

[java]  view plain  copy

 

1. public static boolean createNewFile(String filePath) {  
2.         boolean isSuccess = true;  
3.         // 如有则将"\\"转为"/",没有则不产生任何变化  
4.         String filePathTurn = filePath.replaceAll("\\\\", "/");  
5.         // 先过滤掉文件名  
6.         int index = filePathTurn.lastIndexOf("/");  
7.         String dir = filePathTurn.substring(0, index);  
8.         // 再创建文件夹  
9.         File fileDir = new File(dir);  
10.         isSuccess = fileDir.mkdirs();  
11.         // 创建文件  
12.         File file = new File(filePathTurn);  
13.         try {  
14.             isSuccess = file.createNewFile();  
15.         } catch (IOException e) {  
16.             isSuccess = false;  
17.             e.printStackTrace();  
18.         }  
19.         return isSuccess;  
20.     }  

然后，我们需要一个写入文件的函数：

[java]  view plain  copy

 

1. public static boolean writeIntoFile(String content, String filePath,  
2.             boolean isAppend) {  
3.         boolean isSuccess = true;  
4.         // 先过滤掉文件名  
5.         int index = filePath.lastIndexOf("/");  
6.         String dir = filePath.substring(0, index);  
7.         // 创建除文件的路径  
8.         File fileDir = new File(dir);  
9.         fileDir.mkdirs();  
10.         // 再创建路径下的文件  
11.         File file = null;  
12.         try {  
13.             file = new File(filePath);  
14.             file.createNewFile();  
15.         } catch (IOException e) {  
16.             isSuccess = false;  
17.             e.printStackTrace();  
18.         }  
19.         // 写入文件  
20.         FileWriter fileWriter = null;  
21.         try {  
22.             fileWriter = new FileWriter(file, isAppend);  
23.             fileWriter.write(content);  
24.             fileWriter.flush();  
25.         } catch (IOException e) {  
26.             isSuccess = false;  
27.             e.printStackTrace();  
28.         } finally {  
29.             try {  
30.                 if (fileWriter != null)  
31.                     fileWriter.close();  
32.             } catch (IOException e) {  
33.                 e.printStackTrace();  
34.             }  
35.         }  
36.   
37.         return isSuccess;  
38.     }  

我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。

接着我们回到知乎爬虫中。

我们需要给知乎的Zhihu封装类加个函数，用来格式化写入到本地时的排版。

[java]  view plain  copy

 

1. public String writeString() {  
2.         String result = "";  
3.         result += "问题：" + question + "\r\n";  
4.         result += "描述：" + questionDescription + "\r\n";  
5.         result += "链接：" + zhihuUrl + "\r\n";  
6.         for (int i = 0; i < answers.size(); i++) {  
7.             result += "回答" + i + "：" + answers.get(i) + "\r\n";  
8.         }  
9.         result += "\r\n\r\n";  
10.         return result;  
11. }  

OK，这样就差不多了，接下来吧mian方法中的System.out.println改成

[java]  view plain  copy

 

1. // 写入本地  
2.         for (Zhihu zhihu : myZhihu) {  
3.             FileReaderWriter.writeIntoFile(zhihu.writeString(),  
4.                     "D:/知乎_编辑推荐.txt", true);  
5.         }  

运行，便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里：

大体一看没什么问题，仔细看看发现问题：存在太多的html标签，主要是<b>和<br>。

我们可以在输出的时候对这些标记进行处理。

先把<br>换成io流里面的\r\n，再把所有的html标签都删除，这样看起来便会清晰很多。

[java]  view plain  copy

 

1. public String writeString() {  
2.     // 拼接写入本地的字符串  
3.     String result = "";  
4.     result += "问题：" + question + "\r\n";  
5.     result += "描述：" + questionDescription + "\r\n";  
6.     result += "链接：" + zhihuUrl + "\r\n";  
7.     for (int i = 0; i < answers.size(); i++) {  
8.         result += "回答" + i + "：" + answers.get(i) + "\r\n\r\n";  
9.     }  
10.     result += "\r\n\r\n\r\n\r\n";  
11.     // 将其中的html标签进行筛选  
12.     result = result.replaceAll("<br>", "\r\n");  
13.     result = result.replaceAll("<.*?>", "");  
14.     return result;  
15. }  

这里的replaceAll函数可以使用正则，于是所有的<>标签在最后就都被删除了。

改进之后的效果明显好了很多，可惜CSDN的图突然挂了。。

目前的项目托管在了CSDN的CODE上面（类似于GitHub）：

https://code.csdn.net/wxg694175346/zhihudown