python爬虫:爬取慕课网视频

前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了想爬取其中的视频，用来在电脑上学习。
决定花两天时间用学了一段时间的python做一做。

我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。

整个工程结构:

----entity

--------__init__.py

--------fileinfor.py用来描述视频文件信息

----filedeal

--------__init__.py

--------file_downloader.py用于视频文件的下载

----spider 爬虫的核心内容
--------__init__.py

--------html_downloader.py html下载器

--------html_parser.py  html解析器

--------spiderman.py  爬虫核心逻辑

----test test文件夹主要是用来测试一些用例,不参与整个程序运行

----conf.py 一些全局变量

----index.py 程序启动入口

运行环境:
python 2.7.X
需要安装的支持模块:
BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2

运行:在windows上直接双击start.bat,linux上没试

现在将程序运行起来,双击start.bat:

输入课程号，选择视频品质:

等到显示100%时，会将视频下载到当前目录下

源代码在我的github上:https://github.com/qiyeboy/spider_smooc

欢迎大家指教学习

最近整理出了有关大数据，微服务，分布式，Java，Python，Web前端，产品运营，交互等1.7G的学习资料，有视频教程，源码，课件，软件工具，面试题等等，这里将珍藏多年的资源免费分享给各位小伙伴们。

领取方式：https://blog.csdn.net/qq_42914528/article/details/81777449                                      

                                                         

欢迎大家关注我的公众号：

里面会分享很多JAVA技术、新知识、新技术、面试宝典等。
有让技术爱好者（程序猿）得到很大提升的文章资料。

还在犹豫什么，赶紧关注一波，微信搜索公众号：程序员的成长之路。或者扫描下方二维码进行关注。

                                                                     

                                                                       欢迎关注公众号，和我一起成长！