【Python数据分析】数据预处理2——数据集成
数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储位置（如数据仓库）中的过程。一、实体识别常见的实体识别有：1.同名异义（两个不同数据源中属性名称相同）2.异名同义（两个数据源中属性名称不同，但是代表同一个数据）3.单位不统一二、冗余属性识别注意同一属性多次出现和同一属性命名不一致导致重复等情况三、数据变换1.简单函数变换常用的包括平方、开方、取对数、差分运算等。简单的函数变换常用来将不具有正态分布的数据变换成具有正态分布
【Python数据分析】数据预处理3——数据规约（含主成分分析详解、Python主要预处理函数）
数据规约产生更小且保持完整性的新数据集，在规约后的数据集上进行分析和挖掘将提高效率一、属性规约属性规约通过属性合并创建新属性维数，或者通过直接删除不相关的属性来减少数据维数，从而提高数据挖掘的效率，降低计算成本。属性规约常见的方式如下表所示：属性规约方法 方法描述 合并属性 将一些旧属性合并为新属性 逐步向前选择 从一个空属性集开始，每次从原来属性集合中选择一个当前最优的属性添加到当前属性子集中，直到无法选出最优属性或满足一定阈值约束为止 逐步向后删除 从全属
SIR模型和Python实现
一、SIR模型介绍SIR模型时传染病中最基础最核心的模型，研究的是某个封闭地区的疫情传播规律。SIR模型的动力学关系如下图：健康人数S的变化与 健康人数S和正感人数I的乘积（代表健康人数和正感人数的接触）成正比，其中α代表交叉感染率移出人数的变化与正感人数的数量成正比，其中β代表回复率。基于上面的是自，SIR模型可以表示成一个常微分方程组如下图：当s(t)=β/α时就是病毒最严重的时候；表示S的反函数，代表S越大，t越小，越早结束疫情封城就是为了较低交叉感染率α，并.
【Python数据分析】数据挖掘建模——分类与预测——回归分析
根据挖掘目标和数据形式可以建立分类与预测、聚类分析、关联规则、时序模型、离群点检测等模型。首先介绍一下分类与预测模型。一、分类预测模型实现过程分类模型主要是预测分类编号，预测模型主要是建立连续值函数模型，预测给定自变量对应的因变量的值。分类和预测的实现过程类似。以分类算法为例，分类算法主要有两步：第一步是学习步，通过归纳分析训练样本集来建立分类模型，得到分类规则；第二步是分类部，先用已知的测试样本集来评估分类规则的准确率，如果准确率是可以接受的，则使用该模型对未知类标号的待测样本集进行预测。
【Python数据分析】数据挖掘建模——分类与预测——决策树
决策树是一种树状结构，它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。常见的决策树算法如下：决策树算法 算法描述 ID3算法 在决策树各级节点上，使用信息增益的方法作为属性的选择标准 C4.5算法 ID3的改进版，使用信息增益率来选择节点属性。ID3只适用于离散的描述属性，而C4.5算法既能够处理离散的描述属性，也可以处理连续的描述属性 ..
【Python数据分析】数据挖掘建模——分类与预测——人工神经网络
人工神经网络（artificial neural networks，ANNs），是模拟生物神经网络进行信息处理的一种数学模型。一、人工神经网络简介更多关于神经网络的发展可以参考：人工神经网络简介_网络资源是无限的-CSDN博客_人工神经网络人工神经元是人工神经网络操作的基本信息处理单位。人工神经元的模型如图所示，它是人工神经网络的设计基础。一个人工神经元对输入信号X=[x1,x2,...,xm]的输出为y=f(u+b)，其中激活函数主要有以下几种形式人工神经网络的学习也称为训练，
【Python数据分析】数据挖掘建模——分类与预测算法评价（含ROC曲线、F1等指标的解释）
模型预测效果评价，通常可以用以下指标来衡量1.绝对误差和相对误差设表示实际值，表示预测值，则绝对误差E表示为相对误差e表示为2.平均绝对误差、均方误差、均方根误差与平均绝对百分误差平均绝对误差（Mean Absolute Error, MAE）计算公式如下：表示第i个实际值与预测值的绝对误差。均方误差（Mean Squared Error, MSE）计算公式如下：均方根误差（Root Mean Squared Error，RMSE）计算公式如下：平均.
【Python数据分析】数据挖掘建模——聚类分析
聚类算法是在没有给定划分类别的情况下，根据数据相似度进行样本分组的一种方法，是一种无监督学习方法。聚类的输入是一组未被标记的样本，聚类根据数据自身的距离或相似度将他们划分为若干组，划分的原则是组内样本最小而组间距离最大化。常用的聚类方法有：常见的聚类分析算法有：这里主要介绍一下最常用的K-Means聚类算法一、K-Means聚类算法简介K-Means算法是典型的基于距离的非层次聚类算法，在最小化误差函数的基础上将数据划分为预定的类数k，采用距离作为相似性评价指标，即认为两个对象的
【Python数据分析】时间序列分析——AR/MA/ARMA/ARIMA
常用按时间序列排序的一组随机变量X1,X2,...,Xt来表示一个随机时间的时间序列，简记为{Xt}；用x1,x2,...,xn或{xt，t=1,2,...,n}表示该随机序列的n个有序观察值，称之为序列长度为n的观察值序列。时间序列分析的目的就是给定一个已经被观测的时间序列，观测该序列的未来值。一、时间序列的平稳性与差分法1.时间序列的平稳性：平稳性就是要求经由样本时间序列所得到的拟合曲线 ，在未来的一段期间内仍能顺着现有的形态“惯性”地延续下去或者说一个时间序列，如果均值没有系统的变化（
numpy与pandas各种功能及其对比（超全）
在做数据处理的时候经常会用到numpy和pandas，有时候容易搞混，这篇文章就从功能方面总结对比一下二者的区别。一、简介numpy：numpy是以矩阵为基础的数学计算模块，提供高性能的矩阵运算，数组结构为ndarray。可以把它看作是多维数组（ndarray）的容器，可以对数组执行元素级计算以及直接对数组执行数学运算的函数。其也是用于读写硬盘上基于数组的数据集的工具。数据处理速度比Python自身的嵌套列表要快很多。ndarray中所有元素必须是相同类型。pandas：pandas是基于num
信息量、熵、相对熵与交叉熵的理解
一、信息量信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。“太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。“吐鲁番下中雨了”（吐鲁番年平均降水量日仅6天）这条信息比较有价值，为什么呢，因为按统计来看吐鲁番明天不下雨的概率为98%（1-6/300），对于吐鲁番下不下雨这件事，首先它是随机不去确定的，这条信息直接否定了发生概率为98%的事件------不下雨，把非常大概率的事
RNN（pytorch）的维度问题——用GRU实现文本分类（参考刘二大人）
最近学LSTM的时候对于其中各种输入输出都有点懵，然后参考了刘二大人关于pytorch实践以及下面这篇文章Pytorch深度学习实践（b站刘二大人）P13讲 (RNN循环神经网络高级篇)_努力学习的朱朱的博客-CSDN博客代码把维度问题整理了一下一、pytorch中embedding在做什么？我们先看下面这一段代码：import torchembedding = torch.nn.Embedding(10, 3)print(embedding.weight) # 根据索引取embeddi
【魔改YOLOv5-6.x（4）】结合EIoU、Alpha-IoU损失函数
文章目录前言EIoU论文简介加入YOLOv5Alpha-IoU论文简介加入YOLOv5References前言本文使用的YOLOv5版本为v6.1，对YOLOv5-6.x网络结构还不熟悉的同学，可以移步至：【YOLOv5-6.x】网络模型&源码解析想要尝试改进YOLOv5-6.1的同学，可以参考以下几篇博客：【魔改YOLOv5-6.x（上）】结合轻量化网络Shufflenetv2、Mobilenetv3和Ghostnet【魔改YOLOv5-6.x（中）】加入ACON激活函数、CBAM和CA
R绘图 | 山峦图(ggridges)
ridgeline整个新系列。目前的几个系列， #R实战 以生信分析为主， #跟着CNS学作图 以复现顶刊Figure为主，而本系列 #R绘图 则是学习不在文章中但同样很好看的图，致力于给同学们在数据可视化中提供新的思路和方法。本期图片top_names这个图是美国1900年至今最常见的10个女孩姓名及其人数的可视化展示。ggridges对时间或者空间分布可视化具有十分...
人们又发现了哆啦a梦百宝袋的一个秘密武器
大家好，我是郭尕~SpringMVC获取请求参数一、前言二、通过控制器方法的形参获取请求参数三、 @RequestParam获取请求的参数四、@RequestHeader获取请求头信息五、@CookieValue获取cookie中的值六、 获取复杂数据类型的请求参数七、 如何解决乱码问题一、前言学习概述：上一篇文章我们学习了@RequestMapping注解，明白浏览器与服务器之间是如何映射的，今天我们一起学习如何获取SpringMVC中请求映射中的参数信息。学习目标：掌握SpringMVC是如
CodeGym：以游戏化的方式学习Java真的是事半功倍
说起编程语言的话、很多人可能就要问，现在学哪种语言最吃香呢?当下哪一种语言最火呢？这个咱们先不着急回答，先看下https://www.tiobe.com/tiobe-index/给出的排名，明显看出在近几年一直排名前3位，语言用的人越多，也越收欢迎，也就意味着高收入的工作机会。 二十年前成为一名程序员要困难得多，当时只能照着“枯燥”的书来学习。如今，有几十种在线课程和平台供学生使用，可以随意编写代码。今天，让我们看一下这个网站，它是一个学习和实践Java的游戏化在线平台，适合零基础进行学习.
Mysql逻辑删除和物理删除的使用场景
逻辑删除：是指文件没有被真正的删除，只不过是文件名的第一个字节被改成操作系统无法识别的字符。通常这种删除操作是可逆的，就是说用适当的工具或软件可以把删除的文件恢复出来。在开发或数据表中建立一个int型标记字段，默认为0，当用户对数据进行删除时，将标记字段设置为1。设置后数据不再使用，但是数据会长期存在数据库中适用场景：一般比较重要的数据或表删除的时候考虑逻辑删除、比如用户信息或有关联数据之类。物理删除：将数据库中的数据移除，delete 数据 from 数据表 。删除数据后，数据不能.
周排行