真的不想再看见有谁未经许可也不标明出处搬运我的文章了，所以我自己先在博客园同步发一个。
进入正题，首先要搞到资源，我先去了搜索了一番，找到个网站“落霞”。一言不合就按下了F12，翻了下网页源码，超级简单。
1 from bs4 import BeautifulSoup 2 from requests import Session 3 from re import sub,DOTALL 4 sess = Session() 5 txt=[] 6 url = 'https://www.luoxia.com/qing/48416.htm' 7 def find(url): 8 res = sess.get(url) 9 soup = BeautifulSoup(res.content,'html.parser') 10 title = soup.find('title') 11 div = soup.find('div',id='nr1') 12 ps = div.find_all('p') 13 page = title.text+'\n' 14 print(page) 15 for p in ps: 16 page += p.text+'\n' 17 txt.append(page) 18 try: 19 a = soup.find('a',rel='next') 20 href = a['href'] 21 except: 22 return 0 23 find(href) 24 find(url)
网页结构真的超级简洁有规律，标题就在里，正文在一个title标签里，而且每段话都用p标签包起来了。不过他的网址不是连续的数字，so，迭代大法。下一章的链接就包在一个a标签里，还带了属性。给落霞网站程序员打call,不过我马上就后悔了，这个网站速度有点慢，差不多一秒一章的样子？
是我换了个网站，书趣阁,这个倒是快，就是程序员不喜欢打标记。
1 url = '17754382.html' 2 shu = [] 3 def shuquge(url): 4 res = sess.get('http://www.shuquge.com/txt/83203/'+url) 5 soup = BeautifulSoup(res.content,'html.parser') 6 h1 = soup.find('h1') 7 div = soup.find('div', id="content") 8 page = str(div) 9 page = page.replace('<div class="showtxt" id="content">','') 10 page = page.replace('<br/>','') 11 page = sub('http.*','',page,0,DOTALL) 12 shu.append(h1.text+'\n'+page) 13 print(h1.text) 14 href = [i['href'] for i in soup.find_all('a') if i.text == '下一章'][0] 15 if 'index' not in href: 16 shuquge(href) 17 shuquge(url)
标签都没个正经属性，还一堆广告。正文里面也有，还得我删
1 import jieba,cv2 2 from wordcloud import WordCloud 3 img=cv2.imread('c2cec1e832a833ded3f6f9bbc226ae2f.jpeg') 4 content=' '.join(jieba.cut(''.join(shu))) 5 wordshow = WordCloud(background_color='white', 6 width=800, 7 height=800, 8 max_words=800, 9 max_font_size=100, 10 font_path="msyh.ttc", #用微软雅黑作为字体显示效果 11 mask=img, 12 mode='RGBA' 13 ).generate(content) 14 wordshow.to_file('word.png') #转换成图片
其实本来只想下载小说的，闲着也是闲着，吃饱了也是撑着，不如来写程序，我和身边的朋友都在做，每天收入0元。
对了，保存一下
1 from codecs import open 2 with open('庆余年.txt','w','utf8')as f: 3 f.write('\n'.join(shu))#网页是utf8的，windows下直接用gbk存不了
