Storm 总结.................................................................................................................................- 597 -
概括.....................................................................................................................................- 598 -
Storm 是什么......................................................................................................................- 599 -
实时计算与离线计算的区别............................................................................................- 599 -
Storm 的使用场景.............................................................................................................- 599 -
Storm 组件之间的角色详解............................................................................................ - 599 -
Storm 的分组.....................................................................................................................- 600 -
KafkaSpout 负载均衡的概念............................................................................................- 601 -
实时平台架构介绍............................................................................................................ - 601 -
流式计算整体结构............................................................................................................ - 602 -
Storm 通信机制 Disruptor................................................................................................- 603 -
ACK 的总结........................................................................................................................- 603 -
1-1)、ACK 是什么？................................................................................................. - 603 -
安装 Storm..........................................................................................................................- 604 -
1-1 ) 、安装...............................................................................................................- 604 -
1-2）、修改配置文件...............................................................................................- 604 -
A）、修改 storm.yaml.......................................................................................- 604 -
B）、传送安装包..............................................................................................- 605 -
C）、是配置生效..............................................................................................- 605 -
D）、查看 storm 版本......................................................................................- 605 -
E）、查看 storm 支持的命令...........................................................................- 605 -
1-3）、启动集群.......................................................................................................- 606 -
A）、前端启动..................................................................................................- 606 -
B）、后端启动..................................................................................................- 607 -
- 32 -
1-4）、查看信息.......................................................................................................- 607 -
A） 、进程信息................................................................................................- 607 -
B）、UI 界面查看.............................................................................................- 608 -
C）、Zookeeper 界面........................................................................................- 609 -
D）、日志目录..................................................................................................- 609 -
1-5）、Strom 一键启动脚本....................................................................................- 610 -
Storm 常用操作命令..........................................................................................................- 611 -
1-1）、Storm 自带的 JAR 实例............................................................................... - 611 -
A）、查看运行的实例......................................................................................- 611 -
B）、查看详细的信息......................................................................................- 611 -
C）、查看 Zookeeper 的包存的信息...............................................................- 613 -
1-2）、杀死任务命令格式.......................................................................................- 613 -
1-3）、停用任务命令格式.......................................................................................- 613 -
1-4）、启用任务命令格式.......................................................................................- 614 -
1-5）、重新部署任务命令格式...............................................................................- 614 -
1-6）、Spout 与 Bolt 的生命周期..........................................................................- 614 -
1-7）、StreamGrouping 源码解析...........................................................................- 614 -
Storm 组件本地目录树.....................................................................................................- 617 -
Strom Zookeeper 目录树................................................................................................ - 618 -
Wordcounter 单词计数器的设计思路..............................................................................- 618 -
Strom 整体结构图示图总结............................................................................................ - 625 -
Supervisor 启动 worker,worker 启动 task 的 exector.......................................................- 627 -
1-1）、查找 supervisor 类.......................................................................................- 627 -
1-2）、类中的方法...................................................................................................- 628 -
1-3）、main 方法如下所示.....................................................................................- 629 -
1-4）、查看 supercisor 方法的 run 方法................................................................ - 630 -
1-5）、查看初始化 Supervisor 找到 mkSupervisor 方法，查看启动的顺序.......- 631 -
1-6）、查看 SyneSupervisorEvent 方法，可以看出做了大量的初始化的工作.- 631 -
1-7）、查看 SyneSupervisorEvent 中的 run 方法..................................................- 632 -
1-8）、查看 worker 中运行的方法......................................................................... - 632 -
1-9）、查看 main 方法中的信息.............................................................................- 633 -
1-10）、SyncProcessEvent 的 run 方法代表了 watch 被触发，开始分配任务- 634 -
1-11）、启动的 startNewWorkers 的信息............................................................ - 635 -
1-12）、接下来就是拼接命令的程序，方法 launchWorker.................................- 635 -
1-13）、通过 process 启动 java -server...................................................................- 636 -
1-14）、在 Worke 中创建 Task 的过程...................................................................- 636 -
1-15）、进入 Task 类查看 run 方法........................................................................- 637 -
1-16）、Task 创建 Exector 的过程.........................................................................- 638 -
Spout 和 Bolt Executor 执行器的过程............................................................................- 639 -
1-1）、BoltExecutors 的创建...................................................................................- 639 -
1-2）、查看 BoltExecutors 类...................................................................................- 639 -
1-3）、查看 SingleThreadSpoutExecutor 类的 run 方法........................................- 640 -
Storm 优化方向.................................................................................................................- 641 -
Storm 常见问题总结.......................................................................................................- 642 -
- 33 -
1-1）、为什么有 Storm............................................................................................- 642 -
1-2）、Storm 有什么特点........................................................................................- 642 -
1-3）、离线计算与实时计算的区别.......................................................................- 642 -
1-4）、Storm 架构中的核心组件............................................................................- 642 -
1-5）、Storm 编程模型是什么................................................................................- 642 -
1-6）、为什么有 StreamGrouping,常用分组策略..................................................- 642 -
1-7）、Wordcount 中都用到什么技术点................................................................- 642 -
1-8）、Tuple 是什么.................................................................................................- 643 -
1-9）、Storm 的并行度是什么................................................................................- 643 -
1-10）、梳理实时业务指标项目.............................................................................- 643 -
1-11）、redis 数据结构的运用：............................................................................- 643 -
1-12）、Redis 的 Key 如何设计？........................................................................... - 643 -
1-13）、参照文档搭建 storm 集群.........................................................................- 643 -
Kafka 总结...................................................................................................................................- 644 -
概述.....................................................................................................................................- 645 -
JMS 的概念........................................................................................................................- 645 -
JMS 消息传输模型.............................................................................................................- 645 -
JMS 核心组件.....................................................................................................................- 645 -
常见的类 JMS 消息服务器................................................................................................- 646 -
为什么需要消息队列（重要）........................................................................................- 646 -
Kafka 名词解释和工作方式...............................................................................................- 646 -
Kafka 的核心组件..............................................................................................................- 647 -
Kafka 丢数据的原因以及解决方法................................................................................. - 647 -
Kafka 数据重复消费，该如何去重.................................................................................. - 648 -
Kafka Consumer 的负载均衡.............................................................................................- 648 -
kafka 文件存储机制..........................................................................................................- 649 -
Kafka 集群部署...................................................................................................................- 650 -
1-1）、安装软件.......................................................................................................- 651 -
1-2）、修改配置文件...............................................................................................- 651 -
A）、配置 server.properties............................................................................- 651 -
B）、配置 consumer.properties...................................................................... - 654 -
C）、配置 producer.properties........................................................................- 656 -
1-3）、配置路径.......................................................................................................- 659 -
1-4）、启动 Kafka....................................................................................................- 659 -
A）、前台启动..................................................................................................- 660 -
B）、后台启动..................................................................................................- 660 -
C）、查看进程..................................................................................................- 660 -
D）、在 Zookeeper 上查看.............................................................................. - 661 -
E）、启动脚本.................................................................................................. - 662 -
Kafka 常用操作命令...........................................................................................................- 663 -
1-1）、查看 topic......................................................................................................- 663 -
1-2）、创建 topic......................................................................................................- 663 -
A）、参数说明..................................................................................................- 663 -
- 34 -
B）、查看创建的数据......................................................................................- 663 -
C）、查看数据..................................................................................................- 664 -
1-3）、删除 topic......................................................................................................- 664 -
1-4）、通过 shell 命令发送消息............................................................................. - 664 -
1-5）、通过 shell 消费消息..................................................................................... - 664 -
1-6）、查看消费信息...............................................................................................- 665 -
A）、查看消费信息..........................................................................................- 665 -
B）、web 界面查看..........................................................................................- 665 -
1-7）、查看某个 Topic 的详情................................................................................ - 667 -
1-8）、对分区数进行修改.......................................................................................- 667 -
1-9）、查看 Topic 消费的情况................................................................................ - 667 -
1-10）、kafka 平衡 leader........................................................................................- 667 -
Kafka 流程详解...................................................................................................................- 668 -
KafkaOffsetMonitor 监听工具...........................................................................................- 669 -
A）、下载软件..........................................................................................................- 669 -
B）、修改文件信息..................................................................................................- 669 -
C）、查看界面..........................................................................................................- 670 -
D）、查看 KafkaOffsetMonitor 保存到数据信息................................................... - 671 -
问题总结.............................................................................................................................- 672 -
1-1）、kafka 是什么?................................................................................................- 672 -
1-2）、为什么需要消息队列?.................................................................................- 672 -
1-3）、Kafka 生产的数据消费不了怎么办？........................................................- 672 -
1-4）、kafka 怎样保证不重复消费？.....................................................................- 672 -
1-5）、Kafka 数据丢失怎么办？.............................................................................- 672 -
A） 、丢失的原因............................................................................................- 672 -
B）、解决..........................................................................................................- 672 -
1-6）、Kafka 为什么高吐量.....................................................................................- 673 -
Scala 总结................................................................................................................................... - 674 -
概述.....................................................................................................................................- 675 -
文件类型.............................................................................................................................- 675 -
环境安装.............................................................................................................................- 675 -
1-1）、安装 JDK........................................................................................................ - 675 -
1-2）、安装 scala......................................................................................................- 675 -
1-3）、运行...............................................................................................................- 675 -
scala 基础...........................................................................................................................- 676 -
1-1）、声明变量.......................................................................................................- 676 -
1-2）、表达式...........................................................................................................- 677 -
A） 、IF 表达式................................................................................................- 677 -
B）、块表达式..................................................................................................- 678 -
C）、For 循环....................................................................................................- 678 -
1-3）、Scala 运算符..................................................................................................- 679 -
A）、实例一......................................................................................................- 679 -
B）、实例二......................................................................................................- 679 -
1-4）、方法和函数...................................................................................................- 680 -
- 35 -
A）、定义方法..................................................................................................- 680 -
B）、定义函数..................................................................................................- 681 -
C）、方法和函数的区别..................................................................................- 682 -
D）、将方法转换成函数（神奇的下划线）：............................................. - 683 -
E）、函数与方法相互转换..............................................................................- 683 -
1-5）、集合--映射.....................................................................................................- 684 -
A）、Array 无泛型使用....................................................................................- 684 -
B）、Array 泛型使用....................................................................................... - 685 -
C）、Array 操作............................................................................................... - 685 -
D）、List 操作.................................................................................................. - 686 -
E）、Set 操作...................................................................................................- 687 -
F）、HashMap 操作.........................................................................................- 688 -
G）、集合小结..................................................................................................- 688 -
H）、简单的单词统计......................................................................................- 689 -
1-6）、元组...............................................................................................................- 689 -
A）、元组实例一..............................................................................................- 689 -
B）、元组实例二..............................................................................................- 690 -
C）、元组操作..................................................................................................- 690 -
1-7）、 类、对象、继承、超类.............................................................................- 690 -
A）、 类............................................................................................................- 690 -
B）、 伴生类....................................................................................................- 691 -
C）、 构造器....................................................................................................- 692 -
D）、 对象........................................................................................................- 693 -
E）、 apply 方法.............................................................................................. - 695 -
F）、 继承.........................................................................................................- 696 -
G）、scala 超类的实现.....................................................................................- 696 -
1-8）、 模式匹配.....................................................................................................- 697 -
A）、匹配字符串以及元组以及偏函数..........................................................- 697 -
B）、类型匹配..................................................................................................- 698 -
C）、集合匹配..................................................................................................- 699 -
D）、option 匹配.............................................................................................- 700 -
E）、偏函数...................................................................................................... - 701 -
Scala 在 win 下编译 scala 文件........................................................................................- 701 -
1-1）、准备数据.......................................................................................................- 701 -
1-2）、进行编译并查看结果...................................................................................- 701 -
IDEA 开发 Scala 程序......................................................................................................... - 702 -
1-1）、准备 IDEA 并安装 scala 插件.......................................................................- 702 -
1-2）、创建 scala 项目.............................................................................................- 702 -
1-3）、把项目导出来运行.......................................................................................- 704 -
1-4）、运行查看效果...............................................................................................- 705 -
Scala 的 Actor 编程(也就是 Akka 的编程)......................................................................- 705 -
实例一：.....................................................................................................................- 706 -
实例二：.....................................................................................................................- 707 -
实例三：.....................................................................................................................- 708 -
- 36 -
Scala 高级特性..................................................................................................................- 709 -
1-1 )、函数的总结.....................................................................................................- 709 -
1-2）、隐式转换.......................................................................................................- 710 -
A）、查看系统隐式的方法..............................................................................- 710 -
B）、查看 scala.Predef 下的隐式的方法........................................................- 713 -
C）、查看 LowPriorityImplicits 类下的隐式方法........................................... - 713 -
D）、代码实现..................................................................................................- 714 -
1-3）、柯里化...........................................................................................................- 715 -
1-4）、泛型...............................................................................................................- 716 -
A） 、上界实例................................................................................................- 717 -
B）、视图界定实例..........................................................................................- 718 -
C）、上下文界定..............................................................................................- 719 -
Spark-shell 执行 Helloword...............................................................................................- 721 -
1-1）、查看启动过程日志信息...............................................................................- 721 -
1-2）、查看成成的文件信息：...............................................................................- 721 -
1-3）、计算 wordCount............................................................................................- 722 -
1-4）、查看 spark 默认的指定的分区数................................................................- 722 -
A）、指定分区数..............................................................................................- 722 -
B）、没有指定分区数......................................................................................- 722 -
Wordcount 实例..............................................................................................................- 723 -
Scala 简单 RPC 实现..........................................................................................................- 724 -
1-1）、图解...............................................................................................................- 724 -
1-2）、初步实现.......................................................................................................- 725 -
A）、服务器端..................................................................................................- 725 -
B）、客户端......................................................................................................- 726 -
1 - 3）、深入探究.....................................................................................................- 728 -
A）、服务器端..................................................................................................- 728 -
B）、客户端......................................................................................................- 730 -
C）、接口端......................................................................................................- 732 -
D）、构造器端..................................................................................................- 732 -
PageRank 算法计算权重...................................................................................................- 733 -
Scala 面试题......................................................................................................................- 734 -
1-1）、接口&类&APP 方法......................................................................................- 734 -
A）、接口..........................................................................................................- 734 -
B）、类..............................................................................................................- 734 -
C）、APP 实现方法...........................................................................................- 734 -
D）、结果..........................................................................................................- 735 -
E）、原因.......................................................................................................... - 735 -
Spark 总结...................................................................................................................................- 736 -
Spark 集中运行的模式.....................................................................................................- 737 -
概述.....................................................................................................................................- 737 -
集群环境搭建.....................................................................................................................- 737 -
单机版配置 spark 集群............................................................................................. - 737 -
1-1）、安装 spark.............................................................................................- 737 -
- 37 -
1-2）、配置快捷方式.......................................................................................- 738 -
1-3）、修改配置文件.......................................................................................- 738 -
1-4）、传送到其他的机器上...........................................................................- 738 -
1-5）、启动 spark.............................................................................................- 738 -
1-6）、查看 spark 信息....................................................................................- 739 -
1-7) 、查看单机版图形界面............................................................................- 739 -
集群版搭建................................................................................................................ - 740 -
1-1）、停止以上运行的 spark.........................................................................- 740 -
1-2）、修改配置文件.......................................................................................- 740 -
1-3）、传送文件...............................................................................................- 740 -
1-4）、启动程序...............................................................................................- 741 -
1-5）、查看进程...............................................................................................- 741 -
1-6）、查看 spark 界面....................................................................................- 741 -
1-7）、查看 zookeeper 信息............................................................................- 744 -
1-8）、启动脚本...............................................................................................- 744 -
运行实例.............................................................................................................................- 744 -
1-1）、启动程序.......................................................................................................- 744 -
1-2）、执行 wc 程序.................................................................................................- 745 -
1-3）、查看 HDFS 信息............................................................................................ - 747 -
1-4）、spark-submit 提交 JAR 运行在集群中实例.................................................- 748 -
Spark - submit 参数详解...................................................................................................- 748 -
1-1） 、运行实例.....................................................................................................- 750 -
Spark RDD 实例详解.......................................................................................................... - 751 -
1-1）、读取文件详解...............................................................................................- 751 -
WordCount 实例................................................................................................................- 751 -
1-1）、Win 版 Wordcount........................................................................................- 751 -
1-2）、集群版的 Wordcount....................................................................................- 751 -
A）、wordcount 代码.......................................................................................- 751 -
B）、执行程序..................................................................................................- 752 -
C）、查看结果..................................................................................................- 752 -
1-3）、Java 版 WordCount....................................................................................... - 753 -
A）、代码实现..................................................................................................- 753 -
B）、查看执行过程..........................................................................................- 755 -
C）、查看执行后的结果..................................................................................- 755 -
Spark 执行过程.................................................................................................................. - 756 -
Spark 计算模型.................................................................................................................. - 756 -
1-1）、RDD 总结......................................................................................................- 756 -
RDD 的属性................................................................................................................ - 757 -
1-1）、一组分片...............................................................................................- 757 -
1-2）、一个计算每个分区的函数。...............................................................- 757 -
1-3）、RDD 之间的依赖关系。.......................................................................- 757 -
1-4）、一个 Partitioner，即 RDD 的分片函数。...........................................- 757 -
1-5）、储存位置...............................................................................................- 757 -
算子.....................................................................................................................................- 758 -
- 38 -
1-1）、常用的常用的 Transformation.....................................................................- 758 -
A）、Transformation 实例...............................................................................- 759 -
1-2） 、常用的 Action..............................................................................................- 761 -
A）、Action 实例...............................................................................................- 762 -
1-3）、RDD 的特点..................................................................................................- 762 -
A）、练习 RDD..................................................................................................- 763 -
B）、RDD 特点说明实例.................................................................................- 767 -
C）、RDD 分区问题.........................................................................................- 772 -
RDD 的依赖关系................................................................................................................ - 774 -
1-1) 、窄依赖--没有进行 Shuffer............................................................................ - 774 -
1-2）、宽依赖--进行 Shuffer....................................................................................- 775 -
1-3）、Lineage...........................................................................................................- 776 -
1-4）、RDD 的缓存...................................................................................................- 776 -
1-5）、RDD 缓存方式...............................................................................................- 776 -
DAG 的生成 <-- 调用 RDD 的算子生成了 RDD 的数组.................................................- 777 -
WorkCount 图解................................................................................................................- 778 -
1-1 ) 、官方图解.......................................................................................................- 778 -
1-2）、个人图解.......................................................................................................- 779 -
JAVA 调用 Scala 实例......................................................................................................... - 779 -
Spark 集群 PageRank 测试工具........................................................................................ - 781 -
1-1）、软件下载.......................................................................................................- 781 -
1-2）、执行 PageRank 算法.....................................................................................- 781 -
1-3）、查看结果.......................................................................................................- 782 -
Spark-bench 性能测试.......................................................................................................- 783 -
准备环境.....................................................................................................................- 783 -
1-1）、清空缓存...............................................................................................- 783 -
1-2）、执行清除...............................................................................................- 783 -
1-3）、清除后查看...........................................................................................- 783 -
1-1）、下载...............................................................................................................- 783 -
1-2）、测试 MapReduce 和 HDFS 的运行性能.......................................................- 784 -
A）、修改 KMeans 配置...................................................................................- 784 -
B）、生成数据..................................................................................................- 784 -
C）、运行 run.sh...............................................................................................- 784 -
D）、查看输出数据..........................................................................................- 784 -
1-3）、测试 Spark 的运行性能................................................................................- 785 -
A）、修改 SVM 配置........................................................................................ - 785 -
B）、生成数据..................................................................................................- 785 -
C）、数据检查..................................................................................................- 785 -
D）、执行 run.sh...............................................................................................- 785 -
Spark SQL 总结.......................................................................................................................- 786 -
概述.....................................................................................................................................- 787 -
特点.....................................................................................................................................- 787 -
DataFrames.........................................................................................................................- 787 -
概述.............................................................................................................................- 787 -
- 39 -
查询实例.............................................................................................................................- 787 -
1-1）、准备数据.......................................................................................................- 787 -
1-2）、上传到 HDFS 上............................................................................................ - 788 -
1-3）、启动 Spark.....................................................................................................- 788 -
1-4）、SQL 常用 RDD 操作实例...............................................................................- 788 -
A）、常用函数操作..........................................................................................- 788 -
B）、DSL 风格语法...........................................................................................- 809 -
C）、SQL 风格语法...........................................................................................- 812 -
1-5）、多表联合查询实例.......................................................................................- 813 -
A）、准备数据..................................................................................................- 813 -
B）、Scala 代码................................................................................................- 814 -
C）、设置 Log 级别.......................................................................................... - 815 -
D）、运行结果（SQL 结果）.......................................................................... - 816 -
以编程方式执行 Spark SQL 查询......................................................................................- 816 -
编写 Spark SQL 查询程序..........................................................................................- 816 -
1-1）、spark SQL 执行实例..............................................................................- 816 -
1-2 )、自定义表的字段信息.............................................................................- 821 -
加载数据源的方式读取数据....................................................................................- 822 -
1-1）、JDBC 加载数据.....................................................................................- 822 -
1-2）、从 mysql 中读取数据........................................................................... - 822 -
1-3）、把数据保存到 Mysql 中.......................................................................- 823 -
Spark SQL 结合 HIVE................................................................................................. - 825 -
1-1）、创建数据...............................................................................................- 825 -
1-2）、复制配置文件.......................................................................................- 825 -
1-3）、启动 spark.............................................................................................- 825 -
1-4）、查看数据...............................................................................................- 826 -
1-5）、Scala 代码对 Hive 操作....................................................................... - 827 -
Spark -SQL 脚本执行 SQL..........................................................................................- 828 -
1-1）、启动命令...............................................................................................- 828 -
1-2）、查看 MYSQL 保存数据信息.................................................................- 829 -
Spark-SQL 直接运行脚本..................................................................................................- 830 -
1-1）、准备变量数据...............................................................................................- 830 -
1-2）、查看还行过程...............................................................................................- 830 -
Spark-Streaming 总结................................................................................................................- 833 -
官方文档.............................................................................................................................- 833 -
概述.....................................................................................................................................- 834 -
Spark Strraming 示意图展示............................................................................................ - 834 -
什么是 DStream................................................................................................................. - 835 -
1-1） 、DStream 相关操作......................................................................................- 835 -
1-2）、Transformations on DStreams.......................................................................- 835 -
1-3） 、特殊的 Transformations..............................................................................- 836 -
Output Operations on DStreams........................................................................................- 837 -
Spark Streaming 实现实时 WordCount.............................................................................- 838 -
1-1）、图解...............................................................................................................- 838 -
- 40 -
1-2）、安装 nc.......................................................................................................... - 838 -
1-3）、常用的命令...................................................................................................- 839 -
1-4）、启动 nc.......................................................................................................... - 840 -
1-5）、代码实现.......................................................................................................- 840 -
1-6）、查看结果.......................................................................................................- 841 -
从 TCP 端口中读取数据，并对数据进行累加................................................................- 842 -
准备 JAR......................................................................................................................- 842 -
图解.............................................................................................................................- 842 -
UpdateStateByKey 实现方式....................................................................................- 843 -
1-1）、代码实现...............................................................................................- 843 -
1-2）、写入数据...............................................................................................- 844 -
1-3）、查看结果...............................................................................................- 844 -
1-4）、设置 Log 级别.......................................................................................- 845 -
ReduceByKeyAndWindow 实现方式........................................................................- 845 -
1-1）、代码实现...............................................................................................- 845 -
1-2）、查看结果...............................................................................................- 846 -
Spark 结合 Flume.............................................................................................................. - 847 -
1-1）、上传 JAR 包到 FLume 的 lib 下.................................................................... - 847 -
1-2）、修改 Flume 配置文件...................................................................................- 847 -
1-3）、启动 Flume....................................................................................................- 847 -
1-4）、准备 Flume JAR............................................................................................. - 848 -
1-5）、代码实现.......................................................................................................- 848 -
1-6）、测试数据.......................................................................................................- 849 -
1-7）、查看结果.......................................................................................................- 849 -
Spark 结合 Kafka................................................................................................................- 849 -
1-1）、启动 Kafka.....................................................................................................- 849 -
1-2）、创建 topic......................................................................................................- 850 -
1-3）、查看所有的 topic..........................................................................................- 850 -
1-4）、查看 topic 的详情.........................................................................................- 850 -
1-5）、启动一个生产者发送消息...........................................................................- 850 -
1-6）、启动一个消费者消费数据...........................................................................- 850 -
1-7）、代码...............................................................................................................- 851 -
1-8）、配置参数.......................................................................................................- 852 -
1-9）、测试数据.......................................................................................................- 852 -
1-10）、查看结果.....................................................................................................- 852 -
1-11）、提交集群运行查看结果.............................................................................- 853 -
A）、运行程序..................................................................................................- 853 -
Spark 结合 Redis..............................................................................................................- 853 -
1-1）、创建 Kafka 中的数据...................................................................................- 853 -
1-2）、链接 Redis..................................................................................................... - 855 -
1-3）、Redis 连接池................................................................................................ - 856 -
Spark-Streaming 几种获取数据源的方式.......................................................................- 856 -
1-1）、通过直连的方式查询数据...........................................................................- 856 -
1-2）、通过端口的形式处理数据...........................................................................- 856 -
- 41 -
Spark 大数据处理技术总结.....................................................................................................- 857 -
概述.....................................................................................................................................- 857 -
第一章.................................................................................................................................- 857 -
1-1）、RDD 的表达能力...........................................................................................- 857 -
A） 、迭代运算................................................................................................- 858 -
B）、关系型查询..............................................................................................- 858 -
C）、MapReduce 批处理..................................................................................- 858 -
D）、流式计算..................................................................................................- 859 -
1-2）、Spark 子系统................................................................................................- 859 -
1-3）、Spark 生态圈..............................................................................................- 859 -
A）、Spark Core................................................................................................ - 860 -
B）、 Spark SQL................................................................................................- 860 -
C）、 Spark Streaming......................................................................................- 860 -
D）、GraphX......................................................................................................- 861 -
E）、MLib.......................................................................................................... - 861 -
1-4）、Spark 生态系统特征....................................................................................- 861 -
第二章.................................................................................................................................- 862 -
1-1）、Spark RDD 及编程接口.................................................................................- 862 -
A） 、Spark 编程中的概念.............................................................................- 862 -
B）、上下文的初始化......................................................................................- 863 -
C）、Spark RDD.................................................................................................- 863 -
D）、创建操作..................................................................................................- 866 -
第三章.................................................................................................................................- 874 -
1-1）、Spark 运算模式及原理................................................................................- 874 -
A）、Standalone 模式.......................................................................................- 874 -
B）、Yarn 模式..................................................................................................- 875 -
详细如下.....................................................................................................................- 875 -
第四章.................................................................................................................................- 876 -
1-1）、Spark 调度管理原理....................................................................................- 876 -
A）、Spark 调度的概念....................................................................................- 876 -
B）、作业调度模块逻辑概念..........................................................................- 877 -
详细如下.....................................................................................................................- 878 -
第五章.................................................................................................................................- 878 -
1-1）、Spark 的储存管理........................................................................................- 879 -
A） 、储存管理的架构....................................................................................- 879 -
B）、Spark 支持的持久化的选项....................................................................- 881 -
详细如下.....................................................................................................................- 883 -
第六章.................................................................................................................................- 884 -
1-1）、Stage 界面.....................................................................................................- 884 -
A） 、正在运行的 Stage(Action Stage)...........................................................- 884 -
B）、Stage 调度模式分为两种.......................................................................- 885 -
1-2）、Storage 界面..................................................................................................- 885 -
详细如下.....................................................................................................................- 886 -
第七章.................................................................................................................................- 886 -
- 42 -
1-1）、Spark 架构与安装部署.................................................................................- 886 -
A）、OutOfMemory 异常的处理方法.............................................................- 887 -
B）、数据处理吞吐量低..................................................................................- 887 -
C）、Shark 比 Hive 慢的查找原因...................................................................- 887 -
详细如下.....................................................................................................................- 888 -
第八章.................................................................................................................................- 888 -
1-1）、用户自定义函数...........................................................................................- 889 -
1-2）、CLI 中的用户自定义函数扩展相关的命令.................................................- 889 -
1-3）、UDF 关键点说明...........................................................................................- 889 -
详细如下.....................................................................................................................- 889 -
第九章.................................................................................................................................- 890 -
1-1）、Spark SQL.......................................................................................................- 890 -
A） 、SQL 引擎的四个步骤.............................................................................- 891 -
B）、初始化......................................................................................................- 891 -
C）、类型的转换..............................................................................................- 892 -
D）、常用的方法..............................................................................................- 893 -
详细如下.....................................................................................................................- 894 -
第十章.................................................................................................................................- 895 -
1-1）、Spark Streaming............................................................................................ - 896 -
A）、输入源......................................................................................................- 896 -
B）、actorStream..............................................................................................- 896 -
C）、转换操作..................................................................................................- 897 -
D）、基于窗口的转换......................................................................................- 897 -
E）、 输出操作................................................................................................ - 898 -
1-2）、性能优化.......................................................................................................- 898 -
A）、运行时间优化..........................................................................................- 899 -
B）、内存使用优化..........................................................................................- 899 -
详细如下.....................................................................................................................- 900 -
Elasticsearch 总结......................................................................................................................- 902 -
概述.....................................................................................................................................- 903 -
特点.....................................................................................................................................- 903 -
Elasticsearch 安装..............................................................................................................- 903 -
1-1）、安装...............................................................................................................- 903 -
1-2）、创建用户与组...............................................................................................- 903 -
1-3）、切换用户.......................................................................................................- 904 -
1-4）、查看进程.......................................................................................................- 904 -
1-5）、安装 Elasticsearch 的插件............................................................................- 904 -
A）、Elasticsearch-head 安装...........................................................................- 904 -
B）、license 安装.............................................................................................- 905 -
1-6）、配置集群.......................................................................................................- 905 -
1-7）、传送到其他的机器上...................................................................................- 906 -
1-8）、修改配置文件...............................................................................................- 906 -
1-9）、运行 Elasticsearch.........................................................................................- 908 -
A）、前台运行..................................................................................................- 908 -
- 43 -
B）、后端运行..................................................................................................- 909 -
C）、查看进程..................................................................................................- 909 -
D）、查看界面..................................................................................................- 909 -
1-10）、停止 ES........................................................................................................ - 910 -
1-11）、查看 Zookeeper 保存的信息......................................................................- 911 -
1-12）、一键启动脚本.............................................................................................- 911 -
Curl 常用操作..................................................................................................................- 912 -
1-1）、检测集群是否健康.......................................................................................- 912 -
1-2）、查看集群列表...............................................................................................- 912 -
1-3）、查看所有的索引...........................................................................................- 912 -
1-4）、创建索引.......................................................................................................- 912 -
1-5）、插入数据.......................................................................................................- 913 -
1-6）、获取数据.......................................................................................................- 914 -
1-7）、删除索引.......................................................................................................- 914 -
1-8）、修改数据.......................................................................................................- 914 -
1-9）、更新数据.......................................................................................................- 915 -
1-10）、删除数据.....................................................................................................- 916 -
1-11）、批处理数据.................................................................................................- 916 -
1-12）、常见错误处理.............................................................................................- 917 -
代码实例.............................................................................................................................- 917 -
1-1）、实体类...........................................................................................................- 917 -
1-2）、工具类...........................................................................................................- 919 -
1-3）、工厂类...........................................................................................................- 919 -
1-4）、主类...............................................................................................................- 920 -
查看效果.............................................................................................................................- 924 -
查看保存的数据结构........................................................................................................ - 926 -
查询语句.............................................................................................................................- 927 -
1-1）、精确查找.......................................................................................................- 927 -
1-2）、模糊查找.......................................................................................................- 927 -
1-3）、查找多个字段的数据...................................................................................- 928 -
1-4）、我们希望完全匹配的文档占的评分比较高，则需要使用 best_fields... - 928 -
1-5）、多字段匹配...................................................................................................- 929 -
1-6）、我们会希望这个词条的分词词汇是分配到不同字段中的，那么就使用
cross_fields..................................................................................................................- 929 -
1-7）、高亮设置.......................................................................................................- 929 -
1-8）、URL 查询.......................................................................................................- 930 -
Elasticsearch 数据映射给 Hive.................................................................................- 930 -
1-1）、下载相对应的 JAR........................................................................................- 930 -
1-2）、加载 JAR 包................................................................................................... - 930 -
1-3)、映射数据..........................................................................................................- 930 -
1-4）、查看数据.......................................................................................................- 930 -
elasticsearch-sql 使用.........................................................................................................- 931 -
1-1）、软件安装.......................................................................................................- 931 -
1-2）、软件使用.......................................................................................................- 931 -
- 44 -
1-3）、API 调用 elasticsearch-sql............................................................................- 931 -
Logstash 总结.............................................................................................................................- 932 -
概述.....................................................................................................................................- 933 -
特点.....................................................................................................................................- 933 -
执行流程.............................................................................................................................- 934 -
安装 Logstash..................................................................................................................... - 934 -
1-1）、安装 Logstash................................................................................................- 934 -
1-2）、Logstash 查看帮助........................................................................................- 934 -
Kafka 实例..........................................................................................................................- 936 -
配置文件实例.....................................................................................................................- 937 -
1-1）、输入实例.......................................................................................................- 937 -
1-2）、收集数据到 Elasticsearch.............................................................................- 937 -
1-3）、收集数据到 Kafka.........................................................................................- 938 -
1-4）、Kafka 收集数据到 Elasticsearch...................................................................- 939 -
1-5）、其他的配置...................................................................................................- 940 -
A）、KafkaToES..................................................................................................- 940 -
B）、参数说明..................................................................................................- 941 -
C）、配置实例..................................................................................................- 944 -
前台启动.............................................................................................................................- 944 -
后台启动.............................................................................................................................- 944 -
查看 ES 保存的数据...........................................................................................................- 945 -
Kibana 总结................................................................................................................................- 946 -
概述.....................................................................................................................................- 947 -
安装 Kibana.........................................................................................................................- 947 -
1-1）、安装 Kibana...................................................................................................- 947 -
1-2）、配置 Kibana...................................................................................................- 947 -
1-3）、设置快捷方式...............................................................................................- 947 -
启动.....................................................................................................................................- 947 -
1-1）、前台启动.......................................................................................................- 947 -
1-2）、后台启动.......................................................................................................- 948 -
查看界面.............................................................................................................................- 948 -
1-1）、kibana 的界面..............................................................................................- 948 -
1-2）、Elasticsearch 的数据库的信息....................................................................- 949 -
1-3）、数据查看.......................................................................................................- 950 -
查询数据.............................................................................................................................- 951 -
1-1）、查看数据.......................................................................................................- 951 -
1-2）、增加索引.......................................................................................................- 952 -
1-3）、出现了如图所示...........................................................................................- 953 -
1-4）、查看字段的属性信息...................................................................................- 953 -
1-5）、查看字段的属性信息...................................................................................- 954 -
1-6）、选择图标进行展示.......................................................................................- 955 -
1-7）、选择字段进行展示.......................................................................................- 956 -
1-8）、选择不同的图标进行展示...........................................................................- 956 -