Spring Boot 2.x 编写 RESTful API (六) 事务
用Spring Boot编写RESTful API 学习笔记 Transactional 判定顺序 propagation isolation 脏读 不可重复读 幻读 不可重复读是指记录不同 (update)，幻读是数据条数不同 (insert, delete) 几种隔离的比较 isolation vs. lock 两个不同的东西，隔离不是靠锁实现的，是靠对数据的监控实现的 锁：表加好锁了，除非出现死锁等特殊状况，事务是不会被数据库主动回滚的 隔离：如果发现数据不符合相应的事务隔离级别，当前事
Apache common mail使用
1：jar包 2：设置你自己的授权码，去你发件邮箱，设置授权码，不会的百度。 3： 代码 多种模式发送邮件，举个例子如下。 public static void main(String[] args) throws Exception{
// Create the email message
HtmlEmail email = new HtmlEmail();
email.setHostName("smtp.163.com");
email.setAuthen
Netty--ChannelPipeline
1：是ChannelHandler的集合 2：是一种拦截器过滤器模式的高级实现 3：给用户所有的控制权来控制一个event在handler中是如何被handle的，并且清楚的告诉你在pipeline中各个handler是如何相互影响的。 4：一个pipeline是在一个channel被建立的同时自动被建立的，且是这个channel唯一的。 5：数据流向 在ChannelHandlerContext上下文中定义的inboundHandler或者outBoundHandler的顺序，处理器，要么是
Android签名机制及绕过
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/re_psyche/article/details/88087298 前言 了解APK签名机制，可以让我们更加高效的解决关于APK签名绕过问题，假期我曾经碰到过这类题目，所以了解了一下这方面的知识。 一、APK签名原理 apk发布者需要使用android 密钥生成工具创建的keystore对APK进行签名，此时会在APK根目录中生成META-INF文件，其中包括了MANIFEST.MF，CERT.
日志写入hdfs过程中
生产中，我们日志 从 flume -》 kafka -》hdfs 按天滚动，如果写入hdfs过程出现问题，程序终止，非正常退出。 因为我们是用流向hdfs里面写的，非正常退出，流未关闭，没有字节大小。如果重启过快， 再打开流会出问题(前一个流未关闭) 解决问题： 1、生产中产生的本地日志，也是按天的，可以先把出错的文件删掉，在第二天，手动导一下；
日志项目在线分析每个城市的点击数
日志项目在线分析每个城市的点击数 从kafka里面消费，由SparkStreaming来处理，存到hbase里面 问题： table.incrementColumnValue 这里用了这个方法 可以指定列的值 自增 如果对于这种问题，我也想用put来做呢 1、使用updateStateByKey ,然后put到hbase，相同的列，版本保存最新的， 但是局限性，它每次会把历史所有的都会输出，5000个城市只有2个有变更，全要重新导入，浪费资源 2、使用mapWithState 只会把更新的输出
关于sparkstream代码更改，造成从ck里面启动不了了
当Spark Streaming的代码修改后启动时(directStream的高级api,信息保存在ck中)，反序列化Checkpoint目录中的数据失败，所以Kafka offset会丢失，此时不知道从哪里消费Kafka的数据，所以我们要将Kafka offset保存到ZooKeeper中一份，当Spark Streaming优雅停止后，删除Checkpoint目录然后从ZooKeeper中读取Kafka offset再启动SparkSteaming。 在低级api获取ssc对象的代码中，先
SparkStreaming的ck
一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 Checkpoint 足够多信息至一个具有容错设计的存储系统才能让Driver 从失败中恢复。Spark Streaming 会 Checkpoint 两种类型的数据。 Metadata（元数据） Checkpointing - 保存定义了 Streaming 计算逻辑至类似 HDFS 的支持
hive sql练习
字段说明： ** 用户名，月份，访问次数 数据内容如下
A,2015-01,5
A,2015-01,15
B,2015-01,5
A,2015-01,8
B,2015-01,25
A,2015-01,5
A,2015-02,4
A,2015-02,6
B,2015-02,10
B,2015-02,5
A,2015-03,16
A,2015-03,22
B,2015-03,23
B,2015-03,10
B,2015-03,1
现要求出：每个用户截止到每月为止的最大单月访问次数和累计到该月的
关于flume的filechannel的一些配置与理解
checkpointDir ~/.flume/file-channel/checkpoint The directory where checkpoint file will be stored 检查点的目录 useDualCheckpoints false Backup the checkpoint. If this is set to true, backupCheckpointDir must be set 使用对checkpoint进行备份 backupCheckpointDir –
关于flume的拦截器
项目中我们需要对一个数据源读取到的数据，我们希望能够进到不同的channel，那么我们需要source的selectors和interceptors。 选择器默认使用的是replcation ,是复制模式，进入每个channel的数据都一样，这里我们选用 multiplexing 此项目拦截器我们使用了2个，一个ETL来过滤不合法数据，一个用来给数据添加头信息，头信息是一个k-v键值对，selectors根据不同的v来决定取哪一个channel 建议在拦截器里面不要做过复杂的操作
#logT
memorychannel的配置文件说明
The events are stored in an in-memory queue with configurable max size. It’s ideal for flows that need higher throughput and are prepared to lose the staged data in the event of a agent failures. Required properties are in bold.
Property Name Defau
关于通过ssh后台脚本启动几台主机的flume
脚本1
#!/bin/bash
case $1 in
"start"){
for i in hadoop101 hadoop102
do
echo "---------正在启动 $i 的flume---------------"
ssh $i "nohup /opt/module/flume/bin/flume-ng agent -f /opt/module/flume/conf/file-flume-kafka.conf -n a1
-Dflume.root.lo
数仓项目kafka-hdfs
## 组件
a1.sources=r1 r2
a1.channels=c1 c2
a1.sinks=k1 k2
## source1
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 5000
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = hadoop
几种kafka多线程消费方式
kafka API https://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html 知乎关于多线程的回答https://www.zhihu.com/question/57483708/answer/153185829 1、高级新api消费者，一个线程一个消费者。
import com.atguigu.datacosumer.util.PropertyUt
Netty源码实战(十一) - 设计模式的应用
版权声明：欢迎加入 Java 技术交流群214821336 https://blog.csdn.net/qq_33589510/article/details/87879359 1 单例模式 1.1 Netty 实例 1.1.1 ReadTimeoutException 可以看出,构造器私有,防止随意创建 static保证延迟加载 1.1.2 MqttEncoder 2 策略模式 3 装饰者模式 Netty 实践 4 观察者模式 4.1 常规操作 4.2 Netty 的实践 在调用 write
文件服务器解决方案探索
版权声明：欢迎加入 Java 技术交流群214821336 https://blog.csdn.net/qq_33589510/article/details/87921584 1 定义 文件服务器(file servers)是一种器件，它的功能就是向服务器提供文件。 它加强了存储器的功能，简化了网络数据的管理。 它一则改善了系统的性能，提高了数据的可用性，二则减少了管理的复杂程度，降低了运营费用。 2 简介 在C/S模式下，文件服务器（file server）是一台对中央存储和数据文件管理负
今日推荐
周排行