博客中新浪图床迁移至阿里云的OSS

前言

因为之前有个新浪的图床，还挺好用，而且免费，自己博客的图片上传到其上面也挺方便的，但是，前几周吧，突然图片就不能访问了，之前本来是想通过添加 meta 头来解决的，但是发现没有效果。于是就自己搞了个阿里云的OSS，主要用作为图床。前段时间因为数据分析写报告时，特地学了Shell，刚好Shell 就适合来处理这种数据量不是很大的数据，于是就花了点时间来迁移图床了。

前提准备

阿里云OSS 开通
Shell 基础知识 curl awk cut
最好有博客园API Post Blog 这个接口，如果你数据多的话最好有，要不然需要一个一个上传。

用 Shell 脚本爬取当前博客所有的新浪图床的图片，并下载到本地

#!/bin/sh

rm -rf blog_url_list

get_img_url()
{
   for url in `cat blog_url_list`;
   do
       if [ `curl -s $url | awk '/sinaimg/ {print $0}' | wc -l` -gt 0 ]
       then
           folder_name=`curl -s $url | awk '/postTitle2/ {print $0}' | cut -d "<" -f 2 | cut -d ">" -f 2 | sed 's/ //g'`
           mkdir $folder_name
           img_list=`curl -s $url | awk '/sinaimg/ {print $2}' | awk -F\" '/src/ {print $2}'`
           for img in `echo $img_list`;
           do
               img_name=`echo $img | cut -d "/" -f 5`
               curl $img -o $folder_name/$img_name
           done
       fi
   done
}

default_page="https://www.cnblogs.com/xiyin/default.html?page="
get_all_blog_url()
{
   for i in `seq 9`;
   do
       curl -s https://www.cnblogs.com/xiyin/default.html?page=$i | awk '/DayList_TitleUrl_0/ {print $4}'| cut -d "\"" -f 2 >> blog_url_list
   done    
}

get_all_blog_url
get_img_url

#while [ $beginNum -le $endNum ];
#do
#   getImgUrl $beginNum `expr $beginNum + $lap` &
#   beginNum=`expr $beginNum + $lap + 1`

#   if [ $beginNum > $endNum ]
#   then
#       getImgUrl `expr $beginNum - $lap - 1` $endNum &
#   fi
#done

后续步骤

上面只是第一步，把你目前的所有新浪的图床下载来，接下来你需要上传到阿里云 OSS ，阿里云 OSS 上有挺多语言的SDK，选择自己语言的SDK进行处理，因为我的数据不是很多，于是就直接手动上传了。

当你上传到阿里云 OSS 后，接下来就是更换 URL 了，如果用阿里云 OSS，你可以这样，每上传一张，然后你建立一张json文件，或者文本文件。用来映射源地址和现地址。
之后可以再写一个脚本，把你目前博客中的所有图片URL 更换，最后调用博客园的API push 到博客园上。

因为没有 API 接口权限，硬是纯手动，我都要哭了。

有一个很蠢的事，我本来想用并行的，就是从我最开始的博客Id 开始遍历，到我目前最新的博客，我发现。有400多万个博客数据需要处理，可笑的是我还真的写了这个代码，每个命令用 & 后台执行，当我在命令行敲出 sh command 时，只见电脑风扇疯狂涌动，只能关机让它冷静冷静，当时 cmd 是卡死了，发现博客园网站打不开。尴尬