[python] lesson_1_homwwork
## 一、下面那些不能作为变量？1、find 2、 _num 3、7val 4、add. 5、def 6、pan 7、-print 8、open_file 9、FileName 10、9prints 11、INPUT 12、ls 13、user^name 14、list1 15、str_16、_888 17、is 18、true 19、none 20、try## 答案=====
python基础语法_02
## str - 字符串1、字符串 - 单双引号，三引号2、取值：取指定位置 索引/下标 正向索引 逆向索引3、切片# 把字符串倒序输出print(str_py[::-1])str_element = '' # 空字符串print(type(str_element))# str_py = 'hello,python,study py string data type!'print(str_py[0])# 输出的结果为 hprint(str_py[100])# 报错：没有那么多字符
numpy与pandas基本使用
1、numpy模块使用# 基本操作类似于列表，支持sort(), max(), min()及切片[起始下标:结束下标(不包含):步长]等import numpy# 创建一维数组x = numpy.array([mem1, mem2, mem3])# 创建二维数组y = numpy.array([[mem1, mem2, mem3...], [mem4, mem5, mem6...]...
机器学习及算法-python
1、机器学习工作流程1.获取数据数据简介在数据集中一般：一行数据我们称为一个样本一列数据我们成为一个特征有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）数据类型构成：数据类型一：特征值+目标值（目标值是连续的和离散的）数据类型二：只有特征值，没有目标值数据分割：机器学习一般的数据集会划分为两个部分：训练数...
CentOS查看硬件情况
CentOS7 查看硬件情况lsblk 查看分区和磁盘df -h 查看空间使用情况fdisk -l 分区工具查看分区信息cfdisk /dev/sda 查看分区blkid 查看硬盘label（别名）du -sh ./* 统计当前目录各文件夹大小free -h 查看内存大小...
matplotlib基本使用
matplotlib基本使用import matplotlib.pylab as plimport numpyx = [1, 2, 3, 4]y = [1, 4, 9, 16]# 线型图pl.plot(x, y) # 折线图pl.plot(x, y, '-') # '-'表示直线，'--'表示虚线，':'表示细小虚线,'-.'表示-.的形式# 散点图pl.plot(x,...
HBase-shell及happyhbase
HappyBase操作HBase启动HBase thrift server :hbase-daemon.sh start thrift安装happy basepip install happybase如何使用HappyBase建立连接import happybaseconnection = happybase.Connection('somehost')...
pyspark指定schema
通过StructType对象指定DataFrame的Schema没有嵌套结构的jsonjsonString = ["""{ "id" : "01001", "city" : "AGAWAM", "pop" : 15338, "state" : "MA" }""","""{ "id" : "01002", "city" : "CUSHMAN", "pop" : 36963, "stat...
Spark Streaming实现WordCount
利用Spark Streaming实现WordCount需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。1，需要安装一个nc工具：sudo yum install -y nc2，执行指令：nc -lk 9999 -vimport os#### 配置spark driver和pyspark运行时，所使用的python解释器路径PYSPARK_PYTHON = " " #...
服务器间数据传输的四种方式
scp【优点】简单方便，安全可靠；支持限速参数【缺点】不支持排除目录【用法】scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）>:<文件路径>...
《Python cookbook》笔记一
《Python cookbook》第一章 数据结构和算法— *号解压多个变量 —如果一个可迭代对象的元素个数超过变量个数时，会抛出一个 ValueError 。那么怎样才能从这个可迭代对象中解压出 N 个元素出来？>>> record = ('Dave', '[email protected]', '773-555-1212', '847-555-1212')>>> name, email, *phone_numbers = record>>>
《Python cookbook》笔记二
《Python cookbook》笔记二第二章 字符串和文本—使用多个界定符分割字符串—你需要将一个字符串分割为多个字段，但是分隔符 (还有周围的空格) 并不是固定的。# str.split() 方法只适应于非常简单的字符串分割情形# 当你需要更加灵活的切割字符串的时候，最好使用 re.split() 方法>>> line = 'asdf fjdk; afed, fjek,asdf, foo'>>> import re>>> re.sp
为linux命令起别名
使别名永久生效（#定制专属命令~#）编辑~/.bashrc文件vim ~/.bashrc例子：# .bashrc# User specific aliases and functionsalias rm='rm -i'alias cp='cp -i'alias mv='mv -i'alias cls='clear'alias hdfs='hadoop fs'# Source global definitionsif [ -f /etc/bashrc ]; then
Hive命名空间-自定义变量
Hive命名空间Hive的命名空间分为：hiveconf , system, env 和 hivevar1、hiveconf 的命名空间指的是hive-site.xml下面配置的环境变量2、system的命名空间是系统的变量，包含JVM的运行信息3、evn的命名空间是指环境变量，包含Shell环境下的变量信息，如 HADOOP_HOME一类的4、hivevar为临时变量可以使用：$ hive --define foo=barhive> set foo;foo=bar;hive&g
Hive（一）——基础操作
Hive笔记（一）CLI命令行使用!加linux命令可避免退出不退出CLI hive >!ls;hdfs命令可配合管道符加linux命令使用 dfs -cat /test/c.txt | more可在~/.hiverc文件写入自定义配置vim ~/.hiverc # CLI输出显示标头 set hive.cli.print.header=false; # CLI输出显示当前数据库 set hive.cli.print.current.db=true;
Hive（二）——数据类型与文件格式
Hive笔记（二）数据基本数据类型集合数据类型分隔符如果一个表表结构指定三个字段，而数据文件有五列，则后两列会被舍弃如果某些字段是数值型的，但是Hive在读取时发现存在非数值型的字符串值的话，那么对于那些字段将会返回null值。————读时模式如果数据库非常多的话，那么可以使用正则表达式匹配来筛选出需要的数据库名hive >show databases like 'h.*';建库语句使用LOCATION关键字可指定数据库位置（默认hive.meta
今日推荐
周排行