数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律
数据分析三剑客：Numpy,Pandas,Matplotlib
一 Anaconda
1 下载
官网:https://www.anaconda.com/distribution/
2 安装
https://blog.csdn.net/u012318074/article/details/77075209
3 基本使用
http://python.jobbole.com/86236/
二 jupyter
1 在文件中启动cmd文件
2 输入jupyter notebook
3 快捷键
插入cell: a(之前插入),b(之后插入)
删除cell: x
切换cell模式: y 切换为code模式
m 切换为markdowm 模式(显示html样式)
运行代码:shift+enter
自动补全代码:tab
查看帮助文档:shift+tab
进入编辑:鼠标双击
三 numpy(重点)
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
import numpy as np
一 创建数组
1. 使用np.array()创建
创建一维数组
a = np.array([1,2,3,4,5])
创建二维数组
a1 = np.array([[1,4,3],[4,5,6],[7,8,9.5]])
注意：
numpy默认ndarray的所有元素的类型是相同的
如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>int
n维数组
import matplotlib.pyplot as plt img_arr = plt.imread('./bobo.jpg') #图片路径
plt.imshow(img_arr) #显示图片
2 使用np的routines函数创建
1) np.ones(shape, dtype=None, order='C') shape:数组的尺寸(2,3,3) 2行3列3页的数组 dtype:数据类型(str,int,float)
np.ones((4,6)) #创建全1矩阵 4x6
2) np.zeros(shape, dtype=None, order='C') #创建全0矩阵
np.zeros((2,3))
3) np.full(shape, fill_value, dtype=None, order='C') #指定填充数据,创建矩阵
5) np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列
start:起始值
stop:终止值
num:个数
endpoint:是否包含终止值,true表示包含
retstep:是否返回步长
6) np.arange([start, ]stop, [step, ]dtype=None) #根据步长取数
7) np.random.randint(low, high=None, size=None, dtype='l') #产生随机整数
np.random.seed(100) #不在随机 np.random.randint(0,100,size=(5,3))
8) np.random.randn(d0, d1, ..., dn) #正态分布中随机取数值
9) np.random.random(size=None) #生成0到1的随机数，左闭右开
二 ndarray的属性
np.random.seed(100) arr=np.random.randint(50,100,size=(5,5)) arr
数组性质:
arr.shape #数组的各维度尺寸,返回元组 arr.size #返回各维度尺寸的乘积 arr.dtype #返回数组的数据类型 type(arr) #返回数组类型
三 ndarray 的基本操作
1 索引 :一维与列表完全一致 多维时同理
np.random.seed(10) arr = np.random.randint(0,100,size=(5,5)) arr
arr[1][3] = 10000 #索引并赋值
2 切片:一维与列表完全一致 多维时同理
格式： arr[:,:,] 不同维度用‘,'隔开，[行索引，列索引]
#获取二维数组前两行 arr[0:2]
#获取二维数组前两列 arr[:,0:2] #逗号之间表示的行，逗号后面表示的列的切片
#获取二维数组前两行和前两列数据 arr[0:2,0:2]
3 数据反转 ，例如[1,2,3]---->[3,2,1] ---> ::进行切片
#将数组的行倒序 arr[::-1]
#列倒序 arr[:,::-1]
#全部倒序 arr[::-1,::-1]
4 图片的反转
cat_arr=plt.imread('part_1/cat.jpg') #获取图片数据 res_cat_arr=cat_arr[::-1,::-1,::-1] #数据反转 plt.imshow(res_cat_arr) #显示图片
（未反转) （反转后)
5 变形
使用arr.reshape()函数，注意参数是一个tuple！
arr_1.reshape((25,1)) #将多维数组变形成一维数组
arr_1.reshape((-1,5)) #-1表示自动计算行数
使用变形图片倒置
img_arr.shape #获取图片数组的尺寸 #将元数据变形成一维 img_arr_one_ndim = img_arr.reshape((626*413*3)) #将变形后的一维数组中的元素全部倒置 img_arr_one_ndim = img_arr_one_ndim[::-1] #重新塑造回原先的多维数组 arr_img_finally = img_arr_one_ndim.reshape((626,413,3)) plt.imshow(arr_img_finally) #展示图片
6 级联
- np.concatenate()
np.concatenate((arr1,arr2),axis=1) #axis=0 纵轴 1横轴
-
图片的合并---九宫格
tree_arr=np.concatenate((cat_arr,cat_arr,cat_arr),axis=1) #横向合并 nine_arr=np.concatenate((tree_arr,tree_arr,tree_arr),axis=0) #纵向合并 plt.imshow(nine_arr)
- np.hstack与np.vstack
np.vstack((arr,arr1)) 垂直方向级联
np.vstack((arr,arr1)) 纵向方向级联
级联需要注意的点： 1 级联的参数是列表：一定要加中括号或小括号 2 维度必须相同 3 形状相符:在维度保持一致的前提下，如果进行横向（axis=1）级联，
必须保证进行级联的数组行数保持一致。如果进行纵向（axis=0）级联，
必须保证进行级联的数组列数保持一致。 4 可通过axis参数改变级联的方向
6 切分
与级联类似，三个函数完成切分工作：
np.split(arr,行／列号，轴):参数2是一个列表类型
np.vsplit 垂直方向切割
np.hsplit 水平方向切割
arr
np.split(arr,(2,4),axis=1) #在纵向索引为2，4的位置切割
- 切割照片
cat_arr=plt.imread('part_1/cat.jpg')#获取图片数据 c1,c2,c3=np.split(cat_arr,(150,360),axis=0) #纵向切割，并解包 plt.imshow(c1) plt.imshow(c2) plt.imshow(c3)
7 副本
所有赋值运算不会为ndarray的任何元素创建副本。对赋值后的对象的操作也对原来的对象生效。
arr_= arr.copy() #产生一个arr一样的副本
四 ndarray 的聚合操作
- 求和np.sum
arr.sum(axis=1) #横向求和 arr.sum(axis=0) #纵向求和
- 最大值最小值 np.max/np.min
arr.max(axis=1) #横向取最大 arr.max(axis=0) #纵向取最大
- 平均值 np.mean()
arr.mean() #取所有数据的平均值
- 其他聚合操作
Function Name NaN-safe Version Description np.sum np.nansum Compute sum of elements np.prod np.nanprod Compute product of elements np.mean np.nanmean Compute mean of elements np.std np.nanstd Compute standard deviation np.var np.nanvar Compute variance np.min np.nanmin Find minimum value np.max np.nanmax Find maximum value np.argmin np.nanargmin Find index of minimum value np.argmax np.nanargmax Find index of maximum value np.median np.nanmedian Compute median of elements np.percentile np.nanpercentile Compute rank-based statistics of elements np.any N/A Evaluate whether any elements are true np.all N/A Evaluate whether all elements are true np.power 幂运算
五 广播机制
【重要】ndarray广播机制的三条规则:缺失维度的数组将维度补充为进行运算的数组的维度。缺失的数组元素使用
已有元素进行补充。
规则一：为缺失的维度补1(进行运算的两个数组之间的维度只能相差一个维度)
规则二：缺失元素用已有值填充
规则三：缺失维度的数组只能有一行或者一列
例1： m = np.ones((2, 3)) a = np.arange(3)
六 、ndarray的排序
np.sort()与ndarray.sort()都可以，但有区别：
np.sort()不改变输入
ndarray.sort()本地处理，不占用空间，但改变输入
np.sort(arr,axis=1) #横向排序 np.sort(arr,axis=0) #纵向排序