#实现豆瓣电影影片差评和影片封面照片的爬取 from urllib import request import json import ssl ssl._create_default_https_context=ssl._create_unverified_context #接口列表 url_list=[] for i in range(3): base_url = "https://movie.douban.com/j/chart/top_list?type=%d&interval_id=100%%3A90&action=&start=0&limit=10"%(i) url_list.append(base_url) # print(base_url) #网络请求 for base_url in url_list: response=request.urlopen(base_url) content=response.read() content=content.decode('utf-8') data_json=json.loads(content) print(data_json) i=1 for item in data_json: title=item['title'] # print(str(i),title) # # 获取差评页面 # comment_url=item['url'] # comment_url=comment_url+"comments?start=0&limit=100&sort=new_score&status=P&percent_type=l" # # print(item) # print(comment_url) #获取影片封面 cover_url=item['cover_url'] response_c = request.urlopen(cover_url) content_c = response_c.read() # content_c = content_c.decode('utf-8') with open(str(i)+title+'.png','wb') as pf: pf.write(content_c) i += 1 # break # break # print('====================================')
/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/apple/PycharmProjects/stage4/spider/2018——0307/01homeword.py
[]
[{'rating': ['9.8', '50'], 'rank': 1, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2508258590.jpg', 'is_playable': False, 'id': '27087625', 'types': ['纪录片'], 'regions': ['英国'], 'title': '地球脉动2：奇迹世界', 'url': 'https://movie.douban.com/subject/27087625/', 'release_date': '2017-01-01', 'actor_count': 1, 'vote_count': 977, 'score': '9.8', 'actors': ['戴维·阿滕伯勒'], 'is_watched': False}, {'rating': ['9.7', '50'], 'rank': 2, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2163632289.jpg', 'is_playable': False, 'id': '4167113', 'types': ['纪录片', '音乐'], 'regions': ['日本'], 'title': '久石让在武道馆：与宫崎骏动画一同走过的25年', 'url': 'https://movie.douban.com/subject/4167113/', 'release_date': '2008-08-05', 'actor_count': 1, 'vote_count': 10049, 'score': '9.7', 'actors': ['久石让'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 3, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2511465254.jpg', 'is_playable': False, 'id': '26874505', 'types': ['纪录片'], 'regions': ['日本'], 'title': '人生果实', 'url': 'https://movie.douban.com/subject/26874505/', 'release_date': '2017-01-02', 'actor_count': 3, 'vote_count': 8120, 'score': '9.6', 'actors': ['津端修一', '津端英子', '树木希林'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 4, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2210549104.jpg', 'is_playable': False, 'id': '26257406', 'types': ['纪录片'], 'regions': ['日本'], 'title': '岚：15周年的告白', 'url': 'https://movie.douban.com/subject/26257406/', 'release_date': '2014-11-07', 'actor_count': 5, 'vote_count': 1829, 'score': '9.6', 'actors': ['大野智', '樱井翔', '相叶雅纪', '二宫和也', '松本润'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 5, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2184489189.jpg', 'is_playable': False, 'id': '4234314', 'types': ['纪录片', '传记', '音乐'], 'regions': ['英国'], 'title': '无路可逃：一部关于模糊乐队的电影', 'url': 'https://movie.douban.com/subject/4234314/', 'release_date': '2010-01-14', 'actor_count': 5, 'vote_count': 1599, 'score': '9.6', 'actors': ['Blur', 'Damon Albarn', 'Graham Coxon', 'Alex James', 'Dave Rowntree'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 6, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2359098118.jpg', 'is_playable': False, 'id': '5164585', 'types': ['纪录片'], 'regions': ['美国'], 'title': '创造“哈利·波特”的世界：魔法开始', 'url': 'https://movie.douban.com/subject/5164585/', 'release_date': '2009', 'actor_count': 0, 'vote_count': 1160, 'score': '9.6', 'actors': [], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 7, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2317582899.jpg', 'is_playable': False, 'id': '10508911', 'types': ['纪录片'], 'regions': ['英国'], 'title': '神秘博士：DT的视频日志：最后的日子', 'url': 'https://movie.douban.com/subject/10508911/', 'release_date': '2010', 'actor_count': 1, 'vote_count': 738, 'score': '9.6', 'actors': ['大卫·田纳特'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 8, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2493762829.jpg', 'is_playable': False, 'id': '6718144', 'types': ['纪录片'], 'regions': ['美国'], 'title': '创造“哈利·波特”的世界：音乐', 'url': 'https://movie.douban.com/subject/6718144/', 'release_date': '2010-10-19', 'actor_count': 0, 'vote_count': 651, 'score': '9.6', 'actors': [], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 9, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2359098318.jpg', 'is_playable': False, 'id': '20514888', 'types': ['纪录片'], 'regions': ['美国'], 'title': '创造哈利·波特的世界：成长', 'url': 'https://movie.douban.com/subject/20514888/', 'release_date': '2012', 'actor_count': 3, 'vote_count': 642, 'score': '9.6', 'actors': ['丹尼尔·雷德克里夫', '艾玛·沃森', '鲁伯特·格林特'], 'is_watched': False}, {'rating': ['9.6', '50'], 'rank': 10, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2374644667.jpg', 'is_playable': False, 'id': '26852960', 'types': ['纪录片'], 'regions': ['加拿大'], 'title': '周游加拿大', 'url': 'https://movie.douban.com/subject/26852960/', 'release_date': '2014-12-04', 'actor_count': 3, 'vote_count': 567, 'score': '9.6', 'actors': ['高以翔', '曲婉婷', '夏克立'], 'is_watched': False}]
[{'rating': ['9.3', '50'], 'rank': 1, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1971528714.jpg', 'is_playable': False, 'id': '24696708', 'types': ['传记'], 'regions': ['英国'], 'title': '神奇的费曼先生', 'url': 'https://movie.douban.com/subject/24696708/', 'release_date': '2013-05-12', 'actor_count': 1, 'vote_count': 430, 'score': '9.3', 'actors': ['Richard Feynman'], 'is_watched': False}, {'rating': ['9.3', '50'], 'rank': 2, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2238186336.jpg', 'is_playable': False, 'id': '26258817', 'types': ['传记'], 'regions': ['日本'], 'title': '世界滞在记：18岁的小栗旬在西伯利亚', 'url': 'https://movie.douban.com/subject/26258817/', 'release_date': '2009-01-09', 'actor_count': 1, 'vote_count': 398, 'score': '9.3', 'actors': ['小栗旬'], 'is_watched': False}, {'rating': ['9.1', '45'], 'rank': 3, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2457983084.jpg', 'is_playable': True, 'id': '26387939', 'types': ['剧情', '传记', '运动', '家庭'], 'regions': ['印度'], 'title': '摔跤吧！爸爸', 'url': 'https://movie.douban.com/subject/26387939/', 'release_date': '2017-05-05', 'actor_count': 9, 'vote_count': 519912, 'score': '9.1', 'actors': ['阿米尔·汗', '法缇玛·萨那·纱卡', '桑亚·玛荷塔', '阿帕尔夏克提·库拉那', '沙克希·坦沃', '塞伊拉·沃西', '苏哈妮·巴特纳格尔', '里特维克·萨霍里', '吉里什·库卡尼'], 'is_watched': False}, {'rating': ['9.1', '45'], 'rank': 4, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2328424489.jpg', 'is_playable': False, 'id': '1303913', 'types': ['剧情', '传记', '爱情'], 'regions': ['香港'], 'title': '南海十三郎', 'url': 'https://movie.douban.com/subject/1303913/', 'release_date': '1997-05-15', 'actor_count': 7, 'vote_count': 13988, 'score': '9.1', 'actors': ['谢君豪', '潘灿良', '苏玉华', '梁汉威', '吴绮莉', '黄霑', '周志辉'], 'is_watched': False}, {'rating': ['9.1', '45'], 'rank': 5, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2186918733.jpg', 'is_playable': False, 'id': '3097352', 'types': ['剧情', '传记'], 'regions': ['中国大陆'], 'title': '剃头匠', 'url': 'https://movie.douban.com/subject/3097352/', 'release_date': '2006-10-24', 'actor_count': 1, 'vote_count': 7283, 'score': '9.1', 'actors': ['靖奎'], 'is_watched': False}, {'rating': ['9.0', '45'], 'rank': 6, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p792484461.jpg', 'is_playable': True, 'id': '1296736', 'types': ['剧情', '传记', '历史', '战争', '音乐'], 'regions': ['法国', '德国', '英国', '波兰'], 'title': '钢琴家', 'url': 'https://movie.douban.com/subject/1296736/', 'release_date': '2002-05-24', 'actor_count': 10, 'vote_count': 220895, 'score': '9.0', 'actors': ['艾德里安·布洛迪', '托马斯·克莱舒曼', '艾米莉娅·福克斯', '米哈乌·热布罗夫斯基', '埃德·斯托帕德', '穆琳·利普曼', '弗兰克·芬莱', '邱莉娅蕾娜', '杰西卡·凯特·梅耶尔', '理查德·赖丁斯'], 'is_watched': False}, {'rating': ['9.0', '45'], 'rank': 7, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2315734512.jpg', 'is_playable': False, 'id': '26266892', 'types': ['剧情', '传记'], 'regions': ['日本'], 'title': '红鳉鱼', 'url': 'https://movie.douban.com/subject/26266892/', 'release_date': '2015-12-28', 'actor_count': 12, 'vote_count': 25563, 'score': '9.0', 'actors': ['二宫和也', '北野武', '宫川大辅', '柄本时生', '新井浩文', '北村有起哉', '药师丸博子', '笑福亭鹤瓶', '香川照之', '滨田岳', '岸本加世子', '寺岛进'], 'is_watched': False}, {'rating': ['8.9', '45'], 'rank': 8, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p1312700628.jpg', 'is_playable': True, 'id': '1849031', 'types': ['剧情', '传记', '家庭'], 'regions': ['美国'], 'title': '当幸福来敲门', 'url': 'https://movie.douban.com/subject/1849031/', 'release_date': '2008-01-17', 'actor_count': 15, 'vote_count': 608246, 'score': '8.9', 'actors': ['威尔·史密斯', '贾登·史密斯', '坦迪·牛顿', '布莱恩·豪威 ', '詹姆斯·凯伦', '丹·卡斯泰兰尼塔', '柯特·富勒', '塔卡尤·费舍尔', '凯文·韦斯特', '乔治·张', '戴维·迈克尔·西尔弗曼', '多米尼克·博夫', '杰弗·卡伦', '乔伊芙·拉文', '斯科特·克拉斯'], 'is_watched': False}, {'rating': ['8.9', '45'], 'rank': 9, 'cover_url': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1665997400.jpg', 'is_playable': True, 'id': '1306029', 'types': ['传记', '剧情'], 'regions': ['美国'], 'title': '美丽心灵', 'url': 'https://movie.douban.com/subject/1306029/', 'release_date': '2001-12-13', 'actor_count': 7, 'vote_count': 334571, 'score': '8.9', 'actors': ['罗素·克劳', '詹妮弗·康纳利', '艾德·哈里斯', '克里斯托弗·普卢默', '保罗·贝坦尼', '亚当·戈德堡', '乔什·卢卡斯'], 'is_watched': False}, {'rating': ['8.9', '45'], 'rank': 10, 'cover_url': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p453788577.jpg', 'is_playable': True, 'id': '1294408', 'types': ['剧情', '传记', '爱情', '歌舞'], 'regions': ['美国'], 'title': '音乐之声', 'url': 'https://movie.douban.com/subject/1294408/', 'release_date': '1965-03-02', 'actor_count': 21, 'vote_count': 251753, 'score': '8.9', 'actors': ['朱莉·安德鲁斯', '克里斯托弗·普卢默', '埃琳诺·帕克', '理查德·海顿', '佩吉·伍德', '查尔敏·卡尔', '希瑟·孟席斯-尤里克', '尼古拉斯·哈蒙德', '杜安·蔡斯', '安吉拉·卡特怀特', '黛比·特纳', '基姆·卡拉思', '安娜·李', '波希娅·纳尔逊', '本·怀特', '丹尼尔·特鲁希特', '诺玛·威登', '吉尔克里斯特·斯图尔特', '马妮·尼克松', '埃瓦德妮·贝克', '多丽丝·劳埃德'], 'is_watched': False}]
Process finished with exit code 0