使用普通机器学习的方法填补缺失值
文件202106_10000_drop.tsv数据DATA_MONTH ITEM_ID BRAND_ID ITEM_PRICE ITEM_SALES_VOLUME ITEM_SALES_AMOUNT ITEM_FAV_NUM TOTAL_EVAL_NUM ITEM_STOCK USER_ID202106 558805384323 10.0 29 290.0 204.0 174.0 64.0 1049653664202106 559237486452 3406189.0 29.5 37 1091.5
DBSCAN聚类以及sklearn库代码实现
DBSCAN聚类是一种基于样本密度的聚类方式，同时能够允许样本不被聚到任何类别之中，从而我们可以利用DBSCAN聚类来帮助我们找出一些离群点，即异常值检测。首先给出一些相关概念因此，DBSCAN算法的伪代码如下：直接看变量意思不太能反应过来，稍微写写大概就懂了。思路就是先确定核心对象，然后再随机从核心对象出发计算密度可达的样本，即一直判断核心对象邻域的样本是否还是核心对象，如果是核心对象，那么就把未访问过的样本入队，如果不是了，那么此样本就为这一簇目前的边界了，就不会往外延申了。最后将
matplotlib画三维图以及鸢尾花数据进行降维后使用DBSCAN聚类后三维可视化实例
import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom sklearn import datasetsfrom sklearn.decomposition import PCAiris = datasets.load_iris()y = iris.targetX_reduced = PCA(n_components=3).fit_transform(iris.data)fig = plt.figu
seaborn和matplotlib的一些用法
seaborn的一些用法1.sns.distplot()1.sns.distplot()能够画出对应数据的概率密度图，初步判断数据分布情况import matplotlib.pyplot as pltimport seaborn as snsimport matplotlib as mplmpl.rcParams['font.sans-serif'] = ['FangSong'] # 指定中文字体mpl.rcParams['axes.unicode_minus'] = False # 解决
数据分布的一些检验方法
数据分布的一些检验方法1.KS检验2.幂律分布检验1.KS检验Kolmogorov–Smirnov 检验，简称KS检验，是统计学中的一种非参数假设检验，用来检测单样本是否服从某一分布，或者两样本是否服从相同分布。当p值>=0.5时，可认为数据符合对应检验的分布。下面以检验正态分布为例from scipy.stats import kstestimport numpy as npimport pandas as pdnp.random.seed(10)n = np.random.ran
异常值检验的一些方法
异常值检验的一些方法1.局部离群因子检测（LOF）1.局部离群因子检测（LOF）LOF算法对数据分布假设没什么要求，能够量化每个数据点的异常程度，是一种基于密度的检测异常值的方法。LOF算法认为非离群点对象周围的密度与其邻域周围的密度类似，而离群点对象周围的密度显著不同于其邻域周围的密度。其核心思想就是看局部的密度与周围的密度相比较，如果局部密度相对稀疏，则可认为是离群值，即异常值。具体可以参考一文读懂异常检测 LOF 算法（Python代码）讲的还是比较清楚的。调用sklearn可以较快的实现：
盛最多水的容器问题（力扣）
/*盛最多水的容器问题给定一个长度为 n 的整数数组height。有n条垂线，第 i 条线的两个端点是(i, 0)和(i, height[i])。找出其中的两条线，使得它们与x轴共同构成的容器可以容纳最多的水。返回容器可以储存的最大水量 maxArea。说明：你不能倾斜容器。输入：[1,8,6,2,5,4,8,3,7]输出：49 *///关键：相同情况下两边的距离越远越好//区域受限于较短边 class text{ public static v.
字符切割split()方法的应用
编写一个程序，先输入一个字符串a（长度不超过20,如果长度超过20则给出提示并结束程序)，再输入单独的一个字符b，然后程序会将字符串a当中出现的所有字符b都删掉，从而得到一个新的字符串a2，然后把这个字符串打印出来。import java.util.Scanner;public class split { public static void main(String[] args) { Scanner sc = new Scanner(System.in);
四张图弄懂matplotlib的一些基本用法
其实matplotlib画的图也没那么丑吧，尤其是第一张，感觉还是可以接受的（因为东西加的多所以看起来丑了点吧代码如下：# coding:utf-8import numpy as npimport matplotlib.pyplot as pltimport matplotlib as mplfrom matplotlib import cmmpl.rcParams['font.sans-serif'] = ['FangSong'] # 指定中文字体mpl.rcParams['axe.
异常检测之孤立森林算法详细解释且配上代码运行实例
由于异常值往往有的两个特点：异常数据只占很少量、异常数据特征值和正常数据差别很大。孤立森林，不是描述正常的样本点，而是要孤立异常点，由周志华教授等人于2008年在第八届IEEE数据挖掘国际会议上提出。孤立森林不需要根据距离和密度来衡量异常，因此孤立森林的时间复杂度是线性的，需要的内存也很少。孤立森林有能力处理大数据和高维数据，对于我们大数据背景下的异常识别，是十分适合的一个模型。孤立森林的基本思想是对数据子采样后选择特征孤立数据到一颗树的叶节点，直到终止条件发生，孤立树建立完成。再循环建立新的孤立树，直至
pytorch中LSTM的输出的理解，以及batch_first=True or False的输出层的区别
还记得寒假，我也纠结过这个问题，当时好像弄清楚了，感觉没什么问题，然后最近上手又感觉有点懵逼，赶紧记下来，免得以后忘记。网上搜了很多，但是好像没有简单易懂的例子。目录输出层or隐藏层？batch_first=True or False输出有什么区别？结论输出层or隐藏层？首先，pytorch中LSTM的输出一般用到的是输出层和隐藏层这两个，另一个细胞状态，我没咋用过，就不讲了。一般两种用法，要么将输出层全连接然后得出结果，要么用隐藏层全连接，然后得出结果，有学长说用隐藏层效果会好一点。两种用法应该
pytorch如何使用torchtext初始化LSTM的embedding层？如何用各种预训练模型初始化embedding层？
目录pytorch如何使用torchtext初始化LSTM的embedding层？如何用各种预训练模型初始化embedding层？pytorch如何使用torchtext初始化LSTM的embedding层？由于我开始使用的是torchtext这个预处理的工具，使得建立词典，初始化embedding变得非常方便，一般下面几行就可以搞定调用预训练glove词向量模型初始化embedding。vectors = Vectors(name='./vector/glove.6B.50d.txt') # 存
异常检测之基于聚类的局部异常因子检测算法（CBLOF）详细解释且配上代码运行实例
基于聚类的局部异常因子检测算法（CBLOF）文章目录基于聚类的局部异常因子检测算法（CBLOF）前言一、CBLOF是什么？二、CBLOF详解三、CBLOF代码实例前言服务外包使用了CBLOF算法来检测异常商品，感觉其实对于千万级的数据量来识别异常值还是比较困难的，首先准确率先不谈，能够真正在有限时间跑出结果的算法可能都寥寥无几吧。最后代码实例的效果图可以程序先呈现一下，基本上就是CBLOF的整个流程了。一、CBLOF是什么？CBLOF即基于聚类的局部因子检测法顾名思义，是一种采用局部离群
transformer的一些理解以及逐层架构剖析与pytorch代码实现
文章目录前言一、transformer的架构二、transformer需要用到的三级部件1.词嵌入层（Embedding）2.位置编码器（PositionalEncoding）3.掩码张量生成器（subsequent_mask）4.注意力机制层（Attention）5.多头注意力机制层（MultiHeadedAttention）6.前馈全连接层（PositionwiseFeedForward）7.规范化层（LayerNorm）8.子层连接结构(SublayerConnection)三、transforme.
遗传算法详解python代码实现以及实例分析
遗传算法文章目录遗传算法前言一、遗传算法是什么？二、实例讲解例题11.初始化种群2.优胜劣汰3.根据优胜劣汰的结果，交配生殖、变异5.生物遗传进化例题21.初始化参数1.定义环境（定义目标函数）2.DNA解码（计算x，y）3 .初始化种群（初始化解，考虑定义域）4 .计算适应度（计算误差，考虑定义域）4 .适者生存（挑选误差最小的答案）5 .生殖、变异（更改部分二进制位，取反部分二进制位，可能生成误差更小的答案）6 .查看最终的答案7 .生物遗传进化8 .完整代码总结前言因为老师布置作业，需要我们
遗传算法C语言实现以及思路详解简单易懂
目录前言实例代码解释1.初始化参数以及变量设置2.定义环境（定义目标函数）3.DNA解码（计算x，y）4.初始化种群（初始化解，考虑定义域）5.计算适应度（计算误差，考虑定义域）6.适者生存（挑选误差较小的答案）7.生殖、变异（更改部分二进制位，取反部分二进制位，可能生成误差更小的答案）8.copy函数（将选择的selected_animal赋值回animal以便迭代遗传进化）9.遗传进化以及结果选择10.完整代码总结前言前几天刚用python实现了遗传算法用于求解函数最值，详见遗传算法详解pytho
DGL的图数据结构的创建、图的特征、dgl.batch及一些理解
文章目录前言一、创建图1.dgl.graph((u, v))2.dgl.graph((tuple)...)二、理解图1.边和节点的特征赋值与查看2.图的一些属性或方法3.DGL中的Batch前言dgl是图神经网络构建的工具。官方文档：https://docs.dgl.ai/guide_cn/graph-basic.html#guide-cn-graph-basic有中文的文档，很贴心。一、创建图1.dgl.graph((u, v))我只说一下我目前用过的方式，还有许多方式可以看官方文档。imp
今日推荐
周排行