关于批量下载MODIS数据的坑

             批量下载MODIS数据的坑与正确姿势

第一个坑

NASA的坑

由于之前做项目的时候去NASA官网下载数据的时候还好好的,于是经过被批评改正之后回来就信心满满地去NASA下数据了,于是。

这是打开NASA之后的正常操作,可能被爬的太狠了,于是鄙人考虑是封了这边的人登陆,于是鄙人请那边的人用那边的网登陆那边的网络,结果是同样的操作,emmmm那么就不用想了,网炸了。中间其实还有选择之后选不出条带的情况或者选完了还爆error的情况我就不放图了。红色不大好。

NASA不友好

为啥那么说呢,第一个是因为这个Bad Gateway守门员,第二个就是如果批量下载数据的话你需要一个earthdata的账户,嗯,虽然许多blog都说需要gmail或者Facebook但经过同僚与我的验证,其实只要能科学上网就OK了,主要是有个人机交互界面,如果没有科学上网就会注册不了。

第二个坑

如果历尽千幸万险之后Get到了订单之后,后面处理的效率还是挺高的,不像之前去气象网下数据,2个txt处理了半个小时,然后数据还只有6组数据能用,但是要下下来就没有那么舒服了,如果你有足够的耐心的话可以手动点,之前下载10年数据的时候不懂事就10个慢慢点,但是这次10年的数据需要大概300多个数据,每个数据200多M所以单点就不合适了。于是鄙人开始了踩雷之旅。

IDM

什么是IDM呢,全称是(Internet Download Manager),类似爬虫爬数据再自己选择需要的数据下载。
在这里插入图片描述
这个是IDM下载的官网,全英虽可还行但是下面可能就不太舒服了。
在这里插入图片描述
嗯,下载之后只是试用,如果想try的话还是要支援下作者,毕竟智力劳动毕竟辛苦。
那么也附上IDM下载链接吧!
link.http://www.internetdownloadmanager.com/
下完之后有傻瓜式的操作让你配谷歌的拓展工具,当然你也可以用别人blog里的方法来配置,这里就不再多叙述了。
当你信心满满地爬到链接数据的时候,你却发现。
在这里插入图片描述
没错,因为这个插件还是需要上NASA的官网,所以还是会error,那么照样得GG。所以两位斗士放弃了这种choice.

第三个坑

pyhton结合wget方法下载

如果有Arcgis的话自带python2.7所以下载的时候要注意配环境,至于配环境,移步另外blog。
在NASA download script里有一个python 脚本,下载下来,这个只是部分截图,但是下载下来是.txt需要改后缀名为.py
在这里插入图片描述
用这个script之前你需要下载wget,由于是用mac电脑下的,为不闲麻烦就用homebrew再 brew了wget,比较方便,外面的帖子都是挺成熟的,只要去看就行。NASA官网有代码有三个参数要改。只要看看,然鹅鄙人尝试了半天就给我报错。

wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 "https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/501383976/" --header "B75F2548-F310-11E9-9BEB-C905D05A9C21" -P /Users/dadadadahuang/Desktop/modis

前面是一些附加的改正参数。在邮箱里或者官网都给解释了。在这里插入图片描述
对照下前面参数就行,dir=3后面有3个要改正的,第一个是下载的链接,这个在发给你的信息里有。第二个是一个appKey,这个在NASA里生成,第三个是你要放置文件的地址。
在cmd或者终端输入。然而鄙人还没成功,还需要尝试。在这里插入图片描述
以后成功再写blog

Downthemall的坑

后来看到blog就想用firefox的这个插件,一开始看到下图
在这里插入图片描述
很开心,终于要成功了,然鹅,看这个数据量,154B后面,不用想知道有问题了,于是在Modis Tool里放入想重投影于世。在这里插入图片描述
之后这堆文件就静静地躺在鄙人的回收站里里。
对了downthemall这个插件只要在firefox的插件里搜索一下即可下载了

最后成功

在这里插入图片描述这堆数据还在下,等着上课就让它去跑就ok了,至于如何下载的话需要看我同僚的blog,利用earthdata和downthemall,链接的话。

链接: link.https://blog.csdn.net/weixin_43010839/article/details/102653105 替他推销下,顺便也安慰下为批量下载奋斗一天的两个小伢儿。
后期批量重投影和重采样等成功了也会有blog记录的。天黑了,该休息了

发布了14 篇原创文章 · 获赞 2 · 访问量 850

猜你喜欢

转载自blog.csdn.net/weixin_43342986/article/details/102654501