[spark]在集群上运行spark
目录 1、spark运行时架构 2、两种操作：转化操作和行动操作 3、在集群上运行应用程序 4、使用spark-submit部署应用 1、spark运行时架构 运行时架构描述： spark-submit启动驱动器 驱动器和集群管理器通信，为执行器申请资源 集群管理器启动执行器 不同结点的职责： 结点类型 职责 驱动器 将程序转化为多个任务 为执行器调度任务 执行器 运行任务，将结果返回给驱动器 存储程序中要求缓存的dataframe 集群管理器 1、启动驱动器 2、启动执行器 2、两种操作：转
树模型与线性模型的融合模型(Python实现)
目录 一、树模型与线性模型的融合模型 二、Python sklearn实现GBDT+LR融合模型 一、树模型与线性模型的融合模型 树模型GBDT原理：https://blog.csdn.net/woniu201411/article/details/83114226 线性模型LR原理：https://blog.csdn.net/woniu201411/article/details/81335863 海量的离散特征+线性模型LR，因其较高的精度和较少的运算开销在业界广为使用。 线性模型LR无法
python实现链表基本操作
目录 一、链表类定义 二、查找链表的中间结点 三、检测链表是否有环 四、删除链表倒数第n个结点 五、两个有序链表合并 六、链表反转 七、判断链表是否是回文字符串 一、链表类定义 结点定义：
class Node:
def __init__(self,data,next_node=None):
self.data = data
self.next = next_node 链表类定义，包含结点查找、插入、删除、输出。链表包含头结点，头结点元素为列
[个性化推荐]基于隐式反馈的矩阵分解ALS（spark实现）
目录 一、ALS模型 1、模型定义 2、参数求解 3、推荐计算 二、pyspark实现ALS模型 三、矩阵分解模型与协同过滤模型比较 一、ALS模型 1、模型定义 用户u对商品i的偏好： 其中，在隐式反馈中无法获取用户对商品明确的评分，在视频推荐场景中rui表示为视频观看的时长比例，在商品推荐场景中rui表示为对商品点击次数等。 用户的隐式反馈属于One-class问题，把预测用户行为看成一个二分类问题，猜用户会不会做某事，实际上收集到的数据只有明确一类：用户干了某事，而用户明确不干某事的数据
性能测试工具篇--jmeter组成
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_29804623/article/details/86824327 性能测试工具篇–jmeter组成 jmeter组成 2.功能概述： 线程组:虚拟用户数 可以设置线程数，循环次数，循环时间等等 2. 断言:判断结果 以Response Assertion 为例，可以设置验证类型，验证信息等 3.定时器:定时 监听器:监听结果，常用的有结果树和聚合报告。 配置元件:存储配置信息，常用
Java网络编程和NIO详解4：浅析NIO包中的Buffer、Channel 和 Selector
Java网络编程与NIO详解4：浅析NIO包中的Buffer、Channel 和 Selector 转自https://www.javadoop.com/post/nio-and-aio 本系列文章首发于我的个人博客：https://h2pl.github.io/ 欢迎阅览我的CSDN专栏：Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github：https://github.com/h2pl/
Java网络编程和NIO详解5：Java 非阻塞 IO 和异步 IO
Java网络编程和NIO详解5：Java 非阻塞 IO 和异步 IO Java 非阻塞 IO 和异步 IO 转自https://www.javadoop.com/post/nio-and-aio 本系列文章首发于我的个人博客：https://h2pl.github.io/ 欢迎阅览我的CSDN专栏：Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github：https://github.com/h2
Java网络编程和NIO详解6：Linux epoll实现原理详解
Java网络编程和NIO详解6：Linux epoll实现原理详解 本系列文章首发于我的个人博客：https://h2pl.github.io/ 欢迎阅览我的CSDN专栏：Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github：https://github.com/h2pl/ Linux epoll实现原理详解 在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者po
Web开发笔记（登入，注册，记录登入状态, 拦截器）
目录 Web开发笔记（登入，注册，记录登入状态，拦截器） 注册功能 登录功能 拦截器 Web开发笔记（登入，注册，记录登入状态，拦截器） 注册功能 注册的功能的实现是比较简单的，但是涉及到一些问题 用户名检测(长度，敏感词汇，重复，特殊字符(html,js脚本,sql注入)) 密码长度要求，强度检测,salt加密，(md5) 用户邮件/短信激活(注册太随意脚本攻击，浸入垃圾非法信息) 登录功能 用户登入，在web端记录cookie或者token，或者app中token记录登入状态 登出，删除，
HDU 4135 Co-prime (容斥+分解质因子)
<题目链接> 题目大意： 给定区间[A,B](1 <= A <= B <= 10 15)和N(1 <=N <= 10 9)，求出该区间中与N互质的数的个数。 解题分析： 将求区间[A,B]与N互质的数转化成求[1,B] 区间与N互质的个数 - [1,A-1]中与N互质的个数。同时，因为直接求区间内与N互质的数不好求，我们从反面入手，求出与N不互质的数，借鉴埃筛的思想，我们先求出N的所有质因子，然后将这些质因子在区间内倍数的个数全部求出(即与N不互质的数)，再用区间的总数减去这些不互质数
Java网络编程和NIO详解7：浅谈 Linux 中NIO Selector 的实现原理
Java网络编程和NIO详解7：浅谈 Linux 中NIO Selector 的实现原理 转自：https://www.jianshu.com/p/2b71ea919d49 本系列文章首发于我的个人博客：https://h2pl.github.io/ 欢迎阅览我的CSDN专栏：Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github：https://github.com/h2pl/ 浅谈 Linu
Java网络编程和NIO详解9：基于NIO的网络编程框架Netty
Java网络编程和NIO详解9：基于NIO的网络编程框架Netty 转自https://sylvanassun.github.io/2017/11/30/2017-11-30-netty_introduction/ netty是基于NIO实现的异步事件驱动的网络编程框架，学完NIO以后，应该看看netty的实现，netty框架涉及的内容特别多，这里只介绍netty的基本使用和实现原理，更多扩展的内容将在以后推出。 本系列文章首发于我的个人博客：https://h2pl.github.io/ 欢
Java网络编程和NIO详解8：浅析mmap和Direct Buffer
Java网络编程与NIO详解8：浅析mmap和Direct Buffer 本系列文章首发于我的个人博客：https://h2pl.github.io/ 欢迎阅览我的CSDN专栏：Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github：https://github.com/h2pl/ Java网络编程与NIO详解8：浅析mmap和Direct Buffer 之前看到一篇文章说epoll中在维护ep
今日推荐
周排行