【Golang】Golang语言初级爬虫实战

爬虫目标：游民＊空网站内各类搞笑图集

爬虫思路：

1. 找到网页连接，分析网页分页格式。比如https://www.gamersky.com/ent/202003/1268257.shtml，该图集具有30页，第二页的格式为https://www.gamersky.com/ent/202003/1268257_2.shtml，所以理论上知道了首页，剩下的用函数拼起来就行；
2. 对每一个网页进行html内容爬取，存放为一个大字符串；
3. 接着对整个html进行正则表达式匹配，比如该图集中全部为动态图，那么正则表达式的格式为 [a-zA-z]+://[^\s]*gif ;
4. 将所有匹配结果进行去重操作，放到一个字符串数组中等待下载；
5. 对数组中每一个链接进行http下载既可。

目前爬了几个G之后并没有发现反爬虫机制，所以算是爬虫初级实战。

源代码：

package main

import (
    "bufio"
    "fmt"
    "io"
    "io/ioutil"
    "net/http"
    "os"
    "path"
    "regexp"
    "strconv"
    "time"
)

//去重操作
func RemoveRepeatedElement(arr []string) (newArr []string) {
    newArr = make([]string, 0)
    for i := 0; i < len(arr); i++ {
        repeat := false
        for j := i + 1; j < len(arr); j++ {
            if arr[i] == arr[j] {
                repeat = true
                break
            }
        }
        if !repeat {
            newArr = append(newArr, arr[i])
        }
    }
    return newArr
}

//下载图片
func DownloadIMG(url string) {
    savepath := "/Users/guoyutong/Desktop/Go/Spider/download/download2/"
    fileName := path.Base(url)
    res, err := http.Get(url)
    if err != nil {
        fmt.Println("A error occurred!")
    }
    defer res.Body.Close()
    // 获得get请求响应的reader对象
    reader := bufio.NewReaderSize(res.Body, 32*1024)
    file, err := os.Create(savepath + fileName)
    if err != nil {
        panic(err)
    }
    // 获得文件的writer对象
    writer := bufio.NewWriter(file)
    written, _ := io.Copy(writer, reader)
    fmt.Printf("Total length: %d kb\n", written/1024)
}

//下载网页
func DownloadWeb(url string) {
    //正则表达式匹配
    r, _ := regexp.Compile("[a-zA-z]+://[^\\s]*gif")
    res, err := http.Get(url)

    if err != nil {
        fmt.Fprintf(os.Stderr, "fetch: %v\n", err)
        os.Exit(1)
    }

    // 读取资源数据 body: []byte
    body, err := ioutil.ReadAll(res.Body)

    // 关闭资源流
    res.Body.Close()

    if err != nil {
        fmt.Fprintf(os.Stderr, "fetch: reading %s: %v\n", url, err)
        os.Exit(1)
    }
    //正则表达式筛选
    gif_resources := r.FindAllString(string(body), -1)
    //去重
    gif_resources_final := RemoveRepeatedElement(gif_resources)
    for _, v := range gif_resources_final {
        time.Sleep(3 * time.Second)
        DownloadIMG(v)
    }
}

//2个参数，第一个参数原网页首页，第二个参数网页数量
func main() {
    url := os.Args[1]
    num := os.Args[2]
    n, _ := strconv.Atoi(num)
    DownloadWeb(url)
    for i := 2; i <= n; i++ {
        //构造新的url
        real_url := url[:len(url)-6] + "_" + strconv.Itoa(i) + url[len(url)-6:]
        DownloadWeb(real_url)
    }
}