spark 初学scala中的main方法及其参数
一：类和对象 1. scala不用class作为类的关键字，而是使用object, object是scala中的静态类，不是对象; 2.object作为scala中的一个关键字，相当于java中的public static class这样一个修饰符，意思是object中成员是静态的 所以例子中的main方法是静态的，不需要实例就可以直接被虚拟机调用，也是JVM平台的程序入口必备条件; 3.“scala”和“java”都会编译为class字节码文件,因此可以互相调用 二：参数解释 1. def是
spark 第一个简单实例wordcount
背景： 因为是在已经搭好的Maven项目上进行开发，环境是集群环境，不需要再配置，只是讲一下写时遇到的坑。 1. 因为是采用idea开发，直接在maven项目上新建一个文件夹SparkWordCount和文件SparkWordCount.scala，利用maven打包后，spark-submit提交任务后，一直报错：
19/02/20 19:34:23 ERROR yarn.ApplicationMaster: Uncaught exception:
java.lang.ClassNotF
spark case关键字详解
spark中case关键字，很有用，很强大，case语法与java中的switch语法类似，但比switch更强大。 一、case做模式匹配 1.正则匹配
val Pattern="(a.*)".r//
val v1="spark";
val r=v1 match {
case Pattern(v1)=> "start"
case "1"=> "1"
case "2"=> "2"
case _=> "default"
spark scala中的Option、Some、None
一、避免null的使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？ 二、Scala的Option的类型 Option是针对Map等集合操作的 为了让所有东西都是对象的目标更加一致，也为了遵循函数式编程的习惯，Scala鼓励你在变量和函数返回值可能不会引用任何值
spark spark-submit执行的结果映射到hive表中
1. spark执行的输出结果如何保存 通常把hive表对应的路径当做spark执行的输出目录：/user/hive/warehouse/${hive_db_name}.db/$hive_tb_name 一般日志的映射hive表要建成带分区的格式/user/hive/warehouse/${hive_db_name}.db/$hive_tb_name/dt=${dt}/hour=${dt} 2.spark数据结果的格式如何选择 一般来说，普通的输出就是Textfile格式，但是为了压缩空间，提
spark scala中的override关键字
Override表示重写字段或者方法 override是覆盖的意思，在很多语言中都有（或为：overwrite），在scala中，override是非常常见的，在类继承方面，它和java不一样，不是可写可不写的了，而是必须写的。在java1.5中引入了override注解，但不强制使用。 而scala如果不写而覆盖了对应的属性或者方法的话，编译器就会报错了。 在scala里，类继承有两点限制： 重写方法需要使用override关键字； 只有主构造函数才能往父类构造函数中传参数。 scala的副
spark scala中的var 和val、def区别对比
Val 和Var 的区别 一、最直观的就是：val定义的变量不能被再次赋值，而var定义的可以，见下图
scala> val s=10
s: Int = 10
scala> s=11
<console>:27: error: reassignment to val
s=11
^
scala> var a=10
a: Int = 10
scala> a=11
a: Int = 11
二、事实上，var 修饰的对象引用可以改变，val 修饰的则不可改
spark scala中object、class和trait的区别
一、object 1. 在Scala声明private变量时，Scala编译器会自动生成get,set,在Scala中变量是需要初始化的，如果不声明private默认是public的 2. scala 中没有 static 关键字，在scala中没有静态方法和静态字段，所以在scala中可以用object来实现这些功能，直接用对象名调用的方法都是采用这种实现方式，例如Array.toString。 3. 对于一个class来说，所有的方法和成员变量在实例被 new 出来之前都是无法访问的, 4
spark scala 中下划线_的各种用法
本文只是列出一些常见的用法，可能不是全部 将方法转换为函数 请参见《Scala中Method方法和Function函数的区别》 作为函数的参数 一个匿名的函数传递给一个方法或者函数的时候，scala会尽量推断出参数类型。例如一个完整的匿名函数作为参数可以写为
scala> def compute(f: (Double)=>Double) = f(3)
compute: (f: Double => Double)Double
//传递一个匿名函数作为compute的参数
scala> com
spark scala broadcast variable广播变量和Accumulator累加器
一、简介 通常情况下，当1个function传递到1个spark operation（例如：map、reduce）时，这个function是在远程的集群node上被执行的。这些变量会被复制到每一台机器，在远程机器上不会更新这些变量，然后又传送回driver program。跨tasks共享读写变量的支持，通常是低效率的。然而，spark提供了2种通用的共享变量模式：广播变量和累加器。 1.1 广播变量 广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks。
Kafka 利用Java Api和kafka Api开发生产者Producer和消费者类Consumer
一、多线程开发生产者类
package com.ldy.bootv2.demo.jms;
import java.util.Date;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import org.apache.kafka.clients.producer.KafkaProducer;
import or
ssm框架（springmvc+mybatis+mysql）开发环境搭建配置及实例开发
一、ssm原理解析 首先springmvc的基础架构，需要单独详细解释。可以参考下面这篇文章，也可以在B站上找找黑马的培训视频，讲解的很详细。 https://www.cnblogs.com/xiaoxi/p/6164383.html 需求背景： 要设计一个项目，当用户登陆首页的时候，提示让你输入用户名和密码，输入正确，则跳转页面，显示你的序号和姓名。输入错误，则提示密码错误，重新输入。 判断用户名密码正确与否，是根据已经存在数据库中的表的数据，如果输入的数据存在表中，即正确，否则错误。 二、
Mysql 5.7 设置密码验证
https://blog.csdn.net/liuyinghui523/article/details/83307289 https://blog.csdn.net/u010735147/article/details/81015855
Loadrunner Controller设置
去掉勾选2. Run-time Settings如果是调试时，建议勾选：Extended log-->Parameter substitution如果是压测时，建议使用以下设置：3. 调试时可以忽略思考时间，但压测时，建议打开思考时间4. 发生错误时，继续5. Load Generators： 可以通过ip来Add6. 脚本中插入集合点（注意放在事务之外）之后，这里可以选择Scenario-
EndPoint学习之路_02：EndPoint产品讲解一指禅
Endpoint产品介绍：此处以Check Point产品中的Endpoint终端安全管控产品，R80.10版本进行Endpoint产品介绍...
Atlas实现读写分离
该Atlas方案的实现需要基于MHA架构（而MHA架构需要实现mysql主从复制且开启GTID特性）常见方案介绍：Mysql-proxy（oracle）Mysql-router（oracle）Atlas(Qihoo360)Atlas-sharding(Qihoo360)Cobar（是阿里巴巴（B2B）部门开发）Mycat（基于阿里开源的Cobar产品而研发）TDDLSmartClient的方式（淘
Visual Studio系列教程：如何创建自适应布局（一）
Visual Studio是一款完备的工具和服务，可帮助您为Microsoft平台和其他平台创建各种各样的应用程序，同时还可以将您所有的项目、团队和利益干系人联系在一起。本教程将为你介绍在Visual Studio中如何使用XAML创建自适应布局，利用这一知识，我们可以创建外观适用于任何设备的应用。在本教程中，我们将学习到如何创建新的DataTemplate、添加窗口吸附点，以及使用 Visual
centos7配置DNS
版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/XiaHeShun/article/details/87919377 配置dns https://blog.csdn.net/teisite/article/details/81196244 刚才安装smb时遇到问题yum [Errno 256] No more mirrors to try 解决方法： 系统信息：CentOS release 6.6 (Final) 1.yum clean all 2.
今日推荐
周排行