前言：原方案是设计爬取起点中文网月票排行榜并处理数据
爬取后发现数据量不够，无法做可视化。
重新爬取发现网站对月票数据进行了加密处理，学识有限便放弃这一课程设计了。
爬取的数据图片
链家网上关于福州二手房每平米价格爬取及数据处理
一，设计方案
1.爬取的目标是链家网上福州二手房的价格信息（https.//fz.lianjia.com/xiaoqu/ )
2.网页信息有房屋每平米单价，简介等等
3.设计方案：通过Jupyter Notebook 运用requests,BeautifulSoup库爬取信息并保存，再进行find遍历查取所需信息，并进行数据可视化。
二.。主题页面源代码分析标签
进入网页打开源代码，发现所需的信息的标签为li,并与其他房产信息在ul下。继续 打开标签，确定这是我们所需的信息。
三。运行代码进行爬取实践
1，爬取
保存结果文件到Excle
2，数据清洗
3.进行数据可视化，制作直方图，折线图等
直方图：
折线图：
建立一元二次方程并做图
源代码
import requests#导入库 from bs4 import BeautifulSoup import numpy as np import scipy as sp import matplotlib.pyplot as plt import matplotlib from scipy.optimize import leastsq from numpy import genfromtxt url='https://fz.lianjia.com/xiaoqu/' headers={ 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363' }#伪装爬虫 resp=requests.get(url)#发送requests请求 #print(resp.text) html=resp.text soup=BeautifulSoup(html,'lxml') #print(soup) infos=soup.find('ul',{'class':'listContent'}).find_all('li')#find查询 #print(infos) for info in infos: name=info.find('div',{'class':'title'}).find('a').get_text() #print(name) price=info.find('div',{'class':'xiaoquListItemPrice'}).find('div',{'class':'totalPrice'}).find('span').get_text() #print(price) data=(name,price) #print(data) D=pd.DataFrame(data,index=["简介","平方单价"]) #print(D.T) with open(r'C:\Users\86150\Desktop\house/abc.scv','a',encoding='utf-8') as f: f.write('{},{}\n'.format(nameprice))#保存到Excel #数据清洗 print('\n====各列是否有缺失值情况如下：====') print(D.isnull()) print(D.duplicated()) print(D.isna().head()) print(D.describe()) #条形图 import matplotlib.pyplot as plt plt.figure(figsize=(10, 10), dpi=80) # 柱子总数 N = 30 # 包含每个柱子对应值的序列 values = (19441,7853,17715,20261,11373,18850,24968,17773,18653,23799,18027,22596,20842, 15882,28645,21279,2726,15182,26430,2790,1542,1919,2939,18762,26299,18808,16852,8694,31261,20561) # 包含每个柱子下标的序列 index = np.arange(N) # 柱子的宽度 width = 0.45 p2 = plt.bar(index, values, width, label="num", color="#87CEFA") # 设置横轴标签 plt.xlabel('region') # 设置纵轴标签 plt.ylabel('unit price') # 添加标题 plt.title('Second-hand house square unit price ') # 添加纵横轴的刻度 plt.xticks(index, ('1','2','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19','20','21', '22','23','24','25','26','27','28','29','30')) # plt.yticks(np.arange(0, 10000, 10)) # 添加图例 plt.legend(loc="upper right") plt.show() #折线图 from pylab import * mpl.rcParams['font.sans-serif'] = ['SimHei'] # 添加这条可以让图形显示中文 x_axis_data = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30] y_axis_data = [19441,7853,17715,20261,11373,18850,24968,17773,18653,23799,18027,22596,20842,15882, 28645,21279,2726,15182,26430,2790,1542,1919,2939,18762,26299,18808,16852,8694,31261,20561] # plot中参数的含义分别是横轴值，纵轴值，线的形状，颜色，透明度,线的宽度和标签 plt.plot(x_axis_data, y_axis_data, 'ro-', color='#4169E1', alpha=0.8, linewidth=1, label='二手房单价') # 显示标签，如果不加这句，即使在plot中加了label='一些数字'的参数，最终还是不会显示标签 plt.legend(loc="upper right") plt.ylabel('平方单价') plt.show() # plt.savefig('demo.jpg') # 保存该图片 #一元二次 chinese=matplotlib.font_manager.FontProperties(fname='C:/Windows/Fonts/simsun.ttc') source_data=genfromtxt('C:/house.csv',dtype=float,delimiter=',') data=np.delete(source_data,0,axis=0) price=data[:,0] number=data[:,1] X=np.array(number) Y=np.array(price) def func(p,x): a,b,c=p return a*x*x+b*x+c def error(p,x,y): return func(p,x)-y p0=[1,0] def main(): plt.figure(figsize=(8,6)) p0=[1,30,30] Para=leastsq(error,p0,args=(X,Y)) a,b,c=Para[0] print("a=",a,"b=",b,"c=",c) plt.scatter(X,Y,color="green",label="样本数据",linewidth=2) x=np.linspace(1,30,30) y=a*x*x+b*x+c plt.plot(x,y,color="red",label="拟合曲线",linewidth=2) plt.legend(prop=chinese) plt.title("Second-hand house square unit price") plt.grid() plt.show() main()
四。结论。
通过前段时间python课程的学习，加上这段时间爬虫程序的设计与实践。发现运用python可以做许多事情，编写各种程序，而爬虫程序更是可以进行数据获取及整合，通过清洗后可视化能更好的进行数据分析。可惜自身学识有限，在爬虫过程中遇到许多问题并不能很好解决，在查找资料的过程中无不为他人厉害的爬虫程序所驻足，忍不住想要一试，例如爬取歌单等等。这便是爬虫的魅力，做许多本想不到的事。此次制作更是让我明白，纸上功夫是没用的，想要学好还得实践才行，实践了才明白如何运用库，函数。