python TypeError: 'list' object is not callable

1 第一种,纯粹是自己给自己找麻烦 和系统变量重名了,即str list为系统关键字 ,改一下变量名就可以了 2 我就是遇到的第二种,敲代码比较困,一不小心 写错了,找半天没看出来, map(lambda fields: (fields(3), 1)).reduceByKey(lambda x, y: x + y).collect() map(lambda fields: (fields[3], 1)).reduceByKey(lambda x, y: x + y).collect() 这两
分类: 其他 发布时间: 04-01 23:40 阅读次数: 0

spark学习2

数据通过解析后被存放成case class类型,如果想要提取处理,就需要将数据转换成df toDF() 而一旦转换成DF 对应的表头字段和case class中的相对应,df的一些有趣操作, ratingsData.toDF().filter($"rating" > 4).select("product").rdd.map((_, 1)).reduceByKey(_ + _).sortBy(_._2, false).map(_._1).take(100),其实我是想求一个聚合函数,一时竟想不起
分类: 其他 发布时间: 04-01 23:40 阅读次数: 0

python负数列表

一句话,python负数从右往左-1 开始 从左往右0开始 例如列表: aaa = [1, 3, 4] 1 -对Python来说,负数索引表示从右边往左数,最右边的元素的索引为-1,倒数第二个元素为-2.,。。。 aaa[-3]=aaa[0]=1 aaa[-2]=aaa[1]=3 aaa[-1]=aaa[2]=4 小于-3,大于2的索引会报错
分类: 其他 发布时间: 04-01 23:40 阅读次数: 0

python中安装 scrapy selenium pyecharts等常见第三方库

pip install echarts-countries-pypkg pip install echarts-china-provinces-pypkg pip install echarts-china-cities-pypkg pip install echarts-china-counties-pypkg pip install echarts-china-misc-pypkg pip install echarts-united-kingdom-pypkg pip install p
分类: 其他 发布时间: 04-01 23:40 阅读次数: 0

python matplotlib 可视化与一些分析技巧

首先说一下直方图和柱形图的区别,看起来差不多,都是柱图,但区别就在这些住上面, 直方图表达的数据分布,比如用户年龄分布,主要是想看一些那些年龄段的人数,比较多就可以,采用直方图,再者 年龄连续性太强画出图,都连在一起了 而柱形图就是反映的大小,当前住的数量有多少, 直方图主要反映分布,如年龄 柱形图主要用来比较大小 一般用于分段比较明显的地方 如部门A和部门B 衣物等 直方图 : # 原始数据不用自己去统计个数,直接喂给直方图原始数据就行,不用统计个数 # 数据 分段数 颜色 plt.his
分类: 其他 发布时间: 04-01 23:39 阅读次数: 0

virtualbox 命令行一些操作

开源伟大! vmware最近有很多问题,并且占用内存大 ,所以转向virtualbox阵营 vmware 命令行一般为 vmwarerun start path/xxx.vmx nogui vmwarerun stop path/xxx.vmx restart 命令行删除vmware sudo vmware-installer -u vmware-workstation virtualbox 就一个服务virtualbox virtualbox 命令行一些操作 还是命令行操作舒服,快捷高效 v
分类: 其他 发布时间: 04-01 23:39 阅读次数: 0

firefox chrome等浏览器主页被2345劫持

只能对2345说一句mmp 你要是把界面做的好看一些也行哈,那么丑,连hao123都比你好看 2345个垃圾毒瘤看见都来气,我的电脑就这样被你们给霸占了 解决办法简单粗暴,将 c 盘google chrome 内的快捷方式拷贝一份并重命名随便只要和原来不同即可, 然后将重新命名的快捷方式到桌面即可 2345 mmp
分类: 其他 发布时间: 04-01 23:39 阅读次数: 0

gnome3自动换壁纸

你是否厌倦了一直同一张壁纸,让linux自动换去吧 下面贴脚本 其实shotwell 可以实现,但是这个软件在生成xml文件时 占用cpu太高,而且很慢,且自定义不强 果断shell脚本 但是gnome-shell 内存占有率很高,建议transition 为默认无 #! /bin/bash # <transition type="fade"> <transition type="overlay"> # files=`ls $path | sort -n` 还是按照字典序排列 比如 A99 A
分类: 其他 发布时间: 04-01 23:38 阅读次数: 0

flink 第一错 No implicits found for parameter evidence$2: TypeInformation[(String, String, String)]

原因是因为没有加隐式转换 ,implicit 这点感觉flink很不好,不像spark都有详细解释 解决办法加上 import org.apache.flink.api.scala._ spark多次强调要加上这个,而flink根本就没有提到,!!!
分类: 其他 发布时间: 04-01 23:38 阅读次数: 0

flink 的一些概念以及 watermarks 水位线

批处理类似的hadoop spark 等这一批的数据的全部处理完才进行到下一个节点,中间处理的部分数据会被放到磁盘或内存cache 流处理如 storm flink(blink) sparkstreaming(严格意义来说不算,只是时间很小,mini-batch模拟流) 当前一个节点处理一条数据后,后一个节点接着就把数据给拉取进行处理, 而flink(blink) 可谓是集大成者,既能批处理又能流处理,流批合一,流批,流批,主要归功于flink采用了中比较灵活的方式,采用固定的缓存块来进行衡量
分类: 其他 发布时间: 04-01 23:38 阅读次数: 0

测试flink shell 模式出现 java.lang.NumberFormatException: For input string: "0x100"

终端一些样式格式的问题 解决办法如下,治标不治本 export TERM=xterm-color ; start-scala-shell.sh local flink shell启动之后默认已经初始化好benv(batch ) senv(stream) 环境 Batch - Use the 'benv' variable * val dataSet = benv.readTextFile("/path/to/data") * dataSet.writeAsText("/path/to/outp
分类: 其他 发布时间: 04-01 23:38 阅读次数: 0

flink 的一些概念二

flink standolone 模式配置 在 conf/flink-conf.yaml 中 jobmanager.rpc.address: 10.0.0.1 slave中 添加 从节点的ip start-cluster.sh 一些调优的参数 the amount of available memory per JobManager (jobmanager.heap.mb), the amount of available memory per TaskManager (taskmanager
分类: 其他 发布时间: 04-01 23:37 阅读次数: 0

idea maven完整pom示例

mvn clean package --skipTest <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.or
分类: 其他 发布时间: 04-01 23:37 阅读次数: 0

spark 学习3

struct streaming 是spark 2.3新引入的一个概念用来对标flink,看了两天flink,感觉没有saprk的api用这爽,可能因为我比较菜吧,领会不到阿里大佬们的精髓,一个低延时 exactly once end-end 的概念continues processing 对标flink的continue query,保证1 millsecond的延时还是看好spark ,spark大法好, val sc=spark.SparkContext val ssc=Streamin
分类: 其他 发布时间: 04-01 23:37 阅读次数: 0

保存当前打开的所有标签页 firefox chrome

保存当前打开的所有标签页 想关机但有舍不得打开的那么多标签页 简单粗暴 ctrl shift d 保存至全部打开的标签页到书签 查看 firefox ctrl b chrome ctrl shift b 管理书签 chrome比较简单 直接ctrl shift b管理 firefox ctrl shift o
分类: 其他 发布时间: 04-01 23:37 阅读次数: 0

管道和xargs的区别

自己运行一下感受一下 echo "--help " | xargs cat echo "--help " | cat
分类: 其他 发布时间: 04-01 23:36 阅读次数: 0

idea pycharm 优化

修改bin 目录下的vmoption参数: 关键的三个参数 第一个 -Xms 是最小启动内存参数 第二个 -Xmx 是最大运行内存参数 第三个-XX:ReservedCodeCacheSize 保留代码占用的内存容量参数 根据自己电脑配置进行更改 .IntelliJIdea2019.1 config目录为自己的配置文件,可以进行下次重装导入,包括插件,自定义配置等 system目录是一些系统缓存文件,日志文件,临时文件,索引文件,包括本地历史文件等等,假如idea遇到运行奇葩问题, 请把sys
分类: 其他 发布时间: 04-01 23:36 阅读次数: 0

linux 文件打包与切分

tar -Jcvf xxx.tar.xz xxx 太大需要切分下,主要是百度云限制无法下载大文件 split 有很多参数可以按照自己的需求进行切分 如 按照 大小 行 这里主要是根据大小切分 split -b 40m xxx.tar.xz prefix b 按照大小 m兆 待切分文件 制定的前缀 对文件合并 直接 cat prefix* > newFile.tar.xz tar -Jxvf newFile.tar.xz
分类: 其他 发布时间: 04-01 23:36 阅读次数: 0

react-native 环境配置总结

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yaoming168/article/details/83505956 react-native 环境配置总结 一. 安装Yarn、React Native 的命令行工具(react-native-cli) Yarn是 Facebook 提供的替代 npm 的工具,可以加速 node 模块的下载。React Native 的命令行工具用于执行创建、初始化、更新项目、运行打包服务(packager)
分类: 其他 发布时间: 04-01 23:35 阅读次数: 0

Android内存优化-方式一:使用保守的Service

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yaoming168/article/details/88946369 1、 简介 IntentService是Service的子类,根据需要处理异步请求(以intent表示)。客户端通过调用startService(Intent) 发送请求,该Service根据需要启动,使用工作线程处理依次每个Intent,并在停止工作时停止自身。 这种“工作队列处理器”模式通常用于从应用程序的主线程中卸载任务
分类: 其他 发布时间: 04-01 23:35 阅读次数: 0