模块简介与matplotlib基础

模块简介与matplotlib基础

1、基本概念

1.1数据分析

  对已知的数据进行分析,提取出一些有价值的信息。

1.2数据挖掘

  对大量的数据进行分析与挖掘,得到一些未知的,有价值的信息。

1.3数据挖掘过程

  定义目标

  获取数据(爬虫采集或下载统计网站发布的数据)

  数据探索

  数据预处理(数据清洗【去掉脏数据】、数据集成【集中】、数据变换【规范化】、数据规约【精简】)

  数据建模(分类、聚类、关联、预测)

  模型评价与发布

1.4模块简介

  numpy可以高效的处理数据、提供数组支持

  pandas主要用于数据探索和数据分析

  matplotlib作图模块,解决可视化问题

  scipy主要进行数据计算,同时支持矩阵运算,提供很多高等处理功能,比如积分、傅里叶变化等

  statsnodels用于统计分析

  Gensim文本挖掘

  sklearn、keras前者机器学习,后者深度学习

1.5模块基本操作

  '''numpy'''

  import numpy

  #创建一维数组格式

  #numpy.array([元素1,元素2,...,元素n])

  x=numpy.array(["a","b","c"])

 

  #创建二维数据格式

  #numpy.array([[元素1,元素2,...,元素n],[元素1,元素2,...,元素n],[元素1,元素2,...,元素n],...,[元素1,元素2,...,元素n]])

  y=numpy.array([[1,2,3],[4,5,6],[7,8,9]])

 

  #排序sort

  x.sort()

  y.sort()

 

  #取最大值和最小值

  y1=y.max()

  y2=y.min()

 

  #切片

  #数组[起始下标:最终下标+1]

  x[1:3]#取得就是数组的1-2,相当于取得是左闭右开区间的。如果右边不写则取到最后,若左边不写,则从最开始取

 

  '''pandas'''

  import pandas   #若import pandas as pda,则之后可以使用pd代替pandas

  '''

  Series #index索引

  DataFrame

 

  '''

  a=pandas.Series([8,9,2,1])

  b=pandas.Series([8,9,2,1],index=[1,2,3,4])#index里面的值可以自由指定

  c=pandas.DataFrame([[5,6,2,3],[8,4,6,3],[6,4,31,2]])

  d=pandas.DataFrame([[5,6,2,3],[8,4,6,3],[6,4,31,2]],columns=["one","two","three","four"])

  e=pandas.DataFrame({

    "one":3, #生成3个3,自动补全

    "two":[6,2,3],

    "three":list(str(982))  #生成9、8、2

  })

  d.head()#头部数据,默认前五行

  #d.head(行数)

  d.tail()#尾部数据,默认后五行

  #d.tail(行数)

  d.describe()#展示数据统计信息

  d.T#对d转置

1.6数据导入

1.6.1导入csv数据

  csv是一种常见的数据存储格式,可以使用pandas导入csv数据

  import pandas as pd

  i=pd.read_csv("文件地址")

  i.sort_value(by="某列的第一个数据") #表示按照某列排序

  j=pd.read_excel(文件地址导入Excel文件

1.6.2导入HTML数据

  使用pandas可以直接从HTML网页中加载对应table表格中的数据

  l=pd.read_html("网址或者本地网页的地址")

1.6.3导入TXT文本数据

  m=pd.read_table("TXT文件地址")

 

2、折线图、散点图和直方图的绘制

  折线图和散点图用plot,直方图用hist

   下面是直方图的绘制:

 

 

猜你喜欢

转载自www.cnblogs.com/whliscoming/p/10833423.html
今日推荐