快学Big Data -- 目录(二)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xfg0218/article/details/82316761

目 录
目 录...............................................................................................................................- 3 -
学习态度.......................................................................................................................................- 45 -
永远记住.......................................................................................................................................- 45 -
杂谈...............................................................................................................................................- 46 -
1-1)、大数据研发型人才.................................................................................................- 46 -
1-2)、大数据架构行人才.................................................................................................- 46 -
1-3)、大数据科学家.........................................................................................................- 46 -
1-4)、计算分析应用.........................................................................................................- 46 -
1-5)、几大编程语言的对比.............................................................................................- 46 -
1-6)、hadoop 与 Spark 的区别...................................................................................... - 46 -
Maven 总结...................................................................................................................................- 47 -
概述.......................................................................................................................................- 47 -
软件下载及配置...................................................................................................................- 47 -
软件下载.......................................................................................................................- 47 -
配置 mvn.......................................................................................................................- 48 -
mvn 常用地址......................................................................................................................- 48 -
mvn 常用命令......................................................................................................................- 48 -
查看 mvn 的帮助......................................................................................................... - 48 -
编译项目常用命令...................................................................................................... - 50 -
生成项目结构...................................................................................................... - 50 -
编译项目常用命令..............................................................................................- 51 -
项目测试常用命令..............................................................................................- 51 -
项目打包命令...................................................................................................... - 51 -
Jar 安装常用命令.................................................................................................- 51 -
清除项目常用的命令..........................................................................................- 52 -
查看错误的详细信息..........................................................................................- 52 -
Git 总结........................................................................................................................................- 52 -
描述.......................................................................................................................................- 53 -
Git 使用工具........................................................................................................................- 54 -
Git 管理项目模型................................................................................................................- 54 -
Git 常用操作.........................................................................................................................- 55 -
下载 Git.........................................................................................................................- 55 -
新建代码库...................................................................................................................- 55 -
配置信息...............................................................................................................................- 55 -
显示当前 git 的配置....................................................................................................- 55 -
增加与删除文件到本地仓库..............................................................................................- 56 -
添加制定后缀的文件到本地仓库..............................................................................- 56 -
删除本地仓库的本地文件..........................................................................................- 57 -
提交本地的代码到远程仓库..............................................................................................- 57 -
- 4 -
分支管理...............................................................................................................................- 58 -
分支查看.......................................................................................................................- 58 -
创建分支.......................................................................................................................- 58 -
合并分支.......................................................................................................................- 59 -
删除分支.......................................................................................................................- 59 -
标签管理...............................................................................................................................- 59 -
查看标签.......................................................................................................................- 59 -
新建标签.......................................................................................................................- 59 -
删除标签.......................................................................................................................- 59 -
查看信息命令.......................................................................................................................- 60 -
远程仓库同步.......................................................................................................................- 61 -
撤销命令...............................................................................................................................- 61 -
生成可以发布的版本.......................................................................................................... - 62 -
Linux 总结.....................................................................................................................................- 63 -
概述.......................................................................................................................................- 64 -
Linux 目录结构说明............................................................................................................- 64 -
1-1)、目录树.............................................................................................................- 64 -
1-2)、目录树介绍.....................................................................................................- 64 -
Linux 在虚拟机中安装以及环境的配置............................................................................- 65 -
1-1)、安装虚拟机.....................................................................................................- 65 -
1-2)、在虚拟机中安装 Centos.................................................................................- 66 -
A)、安装向导....................................................................................................- 66 -
B)、选择硬件兼容模式....................................................................................- 67 -
C)、选择系统所在路径....................................................................................- 68 -
D)、输入用户名与密码....................................................................................- 69 -
E)、设置虚拟机的名字....................................................................................- 70 -
F)、设置虚拟机的核数.................................................................................... - 71 -
G)、设置虚拟机的内存....................................................................................- 72 -
H)、设置虚拟机的网络类型............................................................................- 73 -
I)、选择磁盘的类型.........................................................................................- 75 -
J)、选择磁盘.....................................................................................................- 76 -
K)、指定磁盘的大小........................................................................................- 77 -
L)、指定磁盘文件.............................................................................................- 78 -
M)、准备创建好磁盘.......................................................................................- 79 -
N)、创建好虚拟机并启动................................................................................- 80 -
1-3)、修改主机名字.................................................................................................- 80 -
1-4)、Linux 网络配置...............................................................................................- 81 -
1-5)、给超级管理员设置密码.................................................................................- 84 -
1-6)、生成秘钥.........................................................................................................- 85 -
1-7)、传送秘钥.........................................................................................................- 85 -
1-8)、修改时间与日期.............................................................................................- 85 -
A)、如果当前为中国标准时间执行一下操作................................................- 85 -
B)、设置中国区域的时区................................................................................- 85 -
D)、查看当前的月份........................................................................................- 87 -
- 5 -
E)、使用 ntpdate 同步时间............................................................................. - 87 -
1-9)、添加其他的机器的地址.................................................................................- 87 -
Linux 克隆机器....................................................................................................................- 88 -
1-1)、选择机器进行克隆.........................................................................................- 88 -
1-2)、进行克隆.........................................................................................................- 88 -
1-3)、查看克隆完毕.................................................................................................- 89 -
1-4)、修改名字.........................................................................................................- 90 -
1-5)、修改网卡.........................................................................................................- 90 -
1-6)、删除 eth0 网卡的 UUID..................................................................................- 90 -
1-7)、重启机器即可.................................................................................................- 90 -
Linux 文件权限问题............................................................................................................- 90 -
Linux 常用命令....................................................................................................................- 91 -
1-1)、查找最近一天新增的文件.............................................................................- 92 -
1-2)、ls 使用.............................................................................................................- 92 -
1-3)、查看文件夹下的文件的总大小.....................................................................- 92 -
1-4)、查看文件夹下的每个问价的每个的大小.....................................................- 92 -
1-5)、立刻关机.........................................................................................................- 93 -
1-6)、十分钟之后关机.............................................................................................- 93 -
1-7)、等于立马关机.................................................................................................- 93 -
1-8)、重启命令.........................................................................................................- 93 -
1-9)、Xshell 清屏命令.............................................................................................. - 93 -
1-10)、Vi 常用命令..................................................................................................- 93 -
A)、命令模式常用命令....................................................................................- 94 -
B)、插入模式常用命令....................................................................................- 94 -
C)、末行模式....................................................................................................- 94 -
D)、移动光标的操作........................................................................................- 95 -
1-11)、Sed 命令的使用,s 表示字符串,g 表示每一行......................................- 95 -
1-12)、Awk 处理文本..............................................................................................- 95 -
1-13)、Shell 清除屏幕快捷键.................................................................................- 96 -
1-14)、Netstart 命令过滤查找命令....................................................................... - 96 -
1-15)、Crontab 的使用............................................................................................- 96 -
1-16)、软连接命令...................................................................................................- 97 -
1-17)、查看 Linux 的版本....................................................................................... - 97 -
1-18)、查看 CPU 的信息..........................................................................................- 97 -
1-19)、查看本地的磁盘的情况...............................................................................- 98 -
1-20)、查看文件夹下的每个文件的大小...............................................................- 98 -
1-21)、查找某个文件下的文件的大小...................................................................- 98 -
1-22)、yum 常用命令..............................................................................................- 99 -
A)、安装命令....................................................................................................- 99 -
B)、更新和升级................................................................................................- 99 -
C)、查找和显示................................................................................................- 99 -
D)、删除程序....................................................................................................- 99 -
E)、清除缓存.................................................................................................... - 99 -
F)、重新生成缓存.......................................................................................... - 100 -
- 6 -
1-23)、快速杀掉所有的 JAVA 进程.......................................................................- 100 -
1-24)、查看磁盘的 IO 的性能...............................................................................- 100 -
1-25)、查看当前正在占用的端口的程序.............................................................- 100 -
1-26)、创建软连接.................................................................................................- 101 -
1-27)、10 进制转换为 16 禁止..............................................................................- 101 -
1-28)、查看网卡是千 M 还是万 M 网卡..............................................................- 101 -
1-29)、传送文件命令.............................................................................................- 102 -
A) 、scp 命令是用.........................................................................................- 102 -
B)、rcp 命令使用............................................................................................- 102 -
1-30)、lsblk 命令的使用.........................................................................................- 102 -
Linux 常用解压软件命令..................................................................................................- 102 -
Linux 常用的压缩软件命令..............................................................................................- 103 -
Linux 编程..........................................................................................................................- 103 -
1-1)、基本语法.......................................................................................................- 103 -
1-2)、常用语法.......................................................................................................- 103 -
A)、If 语法.......................................................................................................- 103 -
B)、While 语法................................................................................................- 105 -
C)、Case 语法..................................................................................................- 105 -
D)、For 语法....................................................................................................- 106 -
1-3)、函数...............................................................................................................- 107 -
A)、函数定义..................................................................................................- 107 -
B)、函数参数..................................................................................................- 107 -
C)、函数返回值..............................................................................................- 108 -
D)、跨脚本调用..............................................................................................- 108 -
Linux LS 命令详解.............................................................................................................. - 109 -
1-1)、列出文件或者目录.......................................................................................- 109 -
1-2)、长清单模式...................................................................................................- 109 -
1-3)、显示文件大小...............................................................................................- 109 -
1-4)、排序文件大小...............................................................................................- 109 -
1-5)、以 M 为单位显示文件的大小..................................................................... - 110 -
1-6)、查看隐藏文件...............................................................................................- 110 -
1-7)、只差看当前目录下的文件夹.......................................................................- 110 -
1-8)、不打印所有者信息.......................................................................................- 110 -
1-9)、不打印组信息...............................................................................................- 110 -
1-10)、打印 UID 和 GID..........................................................................................- 110 -
1-11)、不带颜色打印.............................................................................................- 111 -
1-12)、打印每个文件的索引号.............................................................................- 111 -
1-13)、增加 / (斜线) 标记目录............................................................................- 111 -
1-14)、排序时反转顺序.........................................................................................- 111 -
1-15)、递归列出子目录.........................................................................................- 111 -
1-16)、扩展名排序.................................................................................................- 112 -
1-17)、通过修改时间列出.....................................................................................- 112 -
1-18)、列出你的主目录.........................................................................................- 112 -
1-19)、查看 LS 的版本........................................................................................... - 112 -
- 7 -
Linux awk 命令详解........................................................................................................... - 112 -
1-1)、基本语法.......................................................................................................- 112 -
A)、书写格式..................................................................................................- 113 -
B)、变量..........................................................................................................- 113 -
C)、操作符......................................................................................................- 113 -
D)、 print 与 printf 的区别............................................................................- 114 -
1-2)、awk 流程控制.............................................................................................. - 114 -
A)、条件..........................................................................................................- 114 -
B)、while 语句................................................................................................ - 114 -
C)、数组..........................................................................................................- 114 -
1-3)、函数...............................................................................................................- 115 -
A)、算数函数..................................................................................................- 115 -
B)、算数函数..................................................................................................- 115 -
C)、自定义函数..............................................................................................- 115 -
1-4)、awk 实战.......................................................................................................- 115 -
A) 、获取 IP 地址...........................................................................................- 115 -
B)、查找制定字段的运行时间......................................................................- 115 -
C)、对每一个分隔符添加相对应的字符......................................................- 116 -
Linux sort 命令详解...........................................................................................................- 116 -
1-1)、准备数据.......................................................................................................- 116 -
1-2)、对数据进行排序...........................................................................................- 117 -
A)、对数据进行正序排序..............................................................................- 117 -
B)、对数据进行倒叙排序..............................................................................- 117 -
C)、对数据去重..............................................................................................- 117 -
D)、把排序完的数据进行重新保存..............................................................- 118 -
E)、按照第一个字段排序..............................................................................- 118 -
F)、按照多个字段排序.................................................................................. - 118 -
G)、第三个字段按照降序排序......................................................................- 118 -
H)、按照第一个单词第二个字母排序......................................................... - 119 -
Linux sed 详解................................................................................................................... - 119 -
1-1)、参数详解.......................................................................................................- 119 -
1-2)、实例详解.......................................................................................................- 120 -
A)、复制数据的前一行..................................................................................- 120 -
B)、删除制定的行..........................................................................................- 120 -
C)、显示第一行到第二行..............................................................................- 120 -
D)、在第二行后面添加一行信息..................................................................- 120 -
E)、删除地 2 行到第五行,病替换成相对应的字符..................................- 121 -
F)、搜索信息做操作...................................................................................... - 121 -
G)、获取本地的 IP..........................................................................................- 121 -
H)、把文件转换为 unix 编码.........................................................................- 121 -
Linux grep 命令详解..........................................................................................................- 121 -
1-1)、使用帮助.......................................................................................................- 121 -
1-2)、使用实例.......................................................................................................- 123 -
A)、查找含有 root 关键字的信息.................................................................- 123 -
- 8 -
B)、过滤二进制..............................................................................................- 123 -
C)、按照多个条件查找..................................................................................- 123 -
D)、显示匹配的行数......................................................................................- 124 -
E)、显示匹配的行数......................................................................................- 124 -
F)、递归查询文件夹下的所有的文件的匹配信息......................................- 124 -
G)、显示匹配当前行数的前几行或后几行................................................. - 124 -
1-3)、查找家目录下的 jpg 文件............................................................................- 125 -
1-4)、按照首字母大写来查找文件.......................................................................- 125 -
1-5)、查找后缀是 jpeg 或 jpg 的文件...................................................................- 125 -
1-6)、查找后缀是 jpeg 或 jpg 的目录...................................................................- 125 -
1-7)、查找一周之前的文件...................................................................................- 125 -
1-8)、在/var/log 下查找大于 1G 的文件..............................................................- 125 -
Linux netstart 命令详解.....................................................................................................- 126 -
1-1)、参数详解.......................................................................................................- 126 -
1-2)、查看所有的打开的端口...............................................................................- 126 -
1-3)、列出所有 tcp 端口........................................................................................- 127 -
1-4)、列出所有 udp 的端口...................................................................................- 127 -
1-5)、列出所有的监听端口...................................................................................- 127 -
1-6)、常用带参数命令...........................................................................................- 127 -
1-7)、按照端口查找程序相关的信息...................................................................- 128 -
Linux 配置 yum 源.............................................................................................................- 128 -
Linux 常用设置..................................................................................................................- 128 -
1-1)、设置系统开启级别.......................................................................................- 128 -
Linux 常用软件安装...........................................................................................................- 129 -
1-1)、JDK 安装........................................................................................................ - 129 -
1-2)、安装 tomcat...................................................................................................- 129 -
1-3)、安装 nginx..................................................................................................... - 129 -
1-4)、安装 MySQL...................................................................................................- 130 -
1-1)、在线安装 MySql....................................................................................- 130 -
1-2)、离线安装 MySql....................................................................................- 130 -
1-3)、MySql 常用操作....................................................................................- 132 -
1-4)、关于 mysql 的查询缓存..................................................................... - 135 -
1-5)、mysql 服务常用操作............................................................................ - 137 -
1-5)、流量查看软件...............................................................................................- 137 -
A)、安装..........................................................................................................- 137 -
B)、查看详细参数..........................................................................................- 137 -
C)、测试..........................................................................................................- 137 -
1-6)、lrzsz 软件的安装..........................................................................................- 138 -
A) 、安装........................................................................................................- 138 -
B)、测试..........................................................................................................- 139 -
1-7)、Python 安装................................................................................................. - 139 -
1-8)、安装 PHP....................................................................................................... - 140 -
1-9)、Screen 软件的安装......................................................................................- 140 -
- 9 -
A)、安装 screen..............................................................................................- 140 -
B)、设置终端编码..........................................................................................- 140 -
C)、screen 常用命令...................................................................................... - 140 -
D)、screen 快捷键..........................................................................................- 141 -
1-10)、nmon 使用...................................................................................................- 141 -
A)、下载 nmon 软件...................................................................................... - 141 -
B)、安装 nmon................................................................................................- 141 -
C)、配置环境变量..........................................................................................- 141 -
D)、使用说明..................................................................................................- 142 -
E)、参数说明.................................................................................................. - 142 -
F)、使用案例................................................................................................ - 143 -
1-11)、nload 软件的使用......................................................................................- 143 -
A)、查看当前 yum 中的软件.........................................................................- 143 -
B)、安装 ncurses.............................................................................................- 143 -
C)、安装 c++....................................................................................................- 143 -
D)、下载 nload................................................................................................- 143 -
E)、解压 nload................................................................................................- 143 -
F)、编译 nload................................................................................................ - 144 -
G)、查看帮助..................................................................................................- 144 -
H)、参数详解..................................................................................................- 144 -
1-12)、iftop 软件的使用........................................................................................- 144 -
A)、环境需要的软件......................................................................................- 144 -
B)、iftop 下载................................................................................................. - 144 -
C)、安装并编译..............................................................................................- 144 -
D)、查看帮助 iftop.........................................................................................- 145 -
E)、参数详解.................................................................................................. - 145 -
1-13)、htop 命令使用........................................................................................... - 145 -
1-14)、iotop 命令使用.......................................................................................... - 146 -
1-15)、dstat 命令使用...........................................................................................- 147 -
1-16)、ag 命令使用...............................................................................................- 148 -
A)、ubuntu 系统安装.....................................................................................- 148 -
B)、简单使用..................................................................................................- 148 -
C)、制定过滤后缀的查找..............................................................................- 149 -
1-17)、mycli 命令使用...........................................................................................- 149 -
1-18)、axel 命令使用.............................................................................................- 149 -
1-19)、bwm-ng 命令使用......................................................................................- 150 -
A)、bwm-ng 安装............................................................................................- 150 -
B)、执行 bwm-ng............................................................................................- 150 -
1-20)、网络分析抓包工具 wireshark-qt...............................................................- 150 -
A)、安装 wireshark-qt.......................................................................................- 150 -
B)、使用 wireshark.........................................................................................- 150 -
1-21)、文件比较工具.............................................................................................- 151 -
A) 、meld 软件安装.......................................................................................- 151 -
B)、meld 软件查看效果.................................................................................- 152 -
- 10 -
C)、diffuse 软件安装......................................................................................- 152 -
D)、diffuse 软件查看效果..............................................................................- 152 -
1-22)、ubuntu 截图软件 deepin-scrot.................................................................. - 152 -
A)、安装..........................................................................................................- 153 -
B) 、使用........................................................................................................- 153 -
Linux 常用软件卸载...........................................................................................................- 153 -
1-1)、MySql 卸载....................................................................................................- 153 -
Liunx 上的服务操作...........................................................................................................- 154 -
1-1)、关闭防火墙...................................................................................................- 154 -
1-2)、关闭 MySql 服务...........................................................................................- 154 -
1-3)、重启网络服务...............................................................................................- 154 -
1-4)、开启 httpd 服务............................................................................................- 154 -
1-5)、关闭 Transparent Huge Pages(THP)..............................................................- 154 -
Linux 检测磁盘的性能......................................................................................................- 155 -
Linux 性能优化..................................................................................................................- 155 -
1-1)、关闭不必要的服务.......................................................................................- 155 -
1-2)、关闭 IP6.........................................................................................................- 155 -
1-3)、调整文件的最大的打开数...........................................................................- 156 -
1-4)、修改 linux 内核参数...................................................................................- 156 -
1-5)、关闭 noatime............................................................................................... - 156 -
1-6)、调节网络传送的数据包 MTU......................................................................- 156 -
1-7)、在系统方面调节最大连接数(somaxconn)..................................................- 156 -
1-8)、加快 TCP 链接的回收(Recycle)...............................................................- 157 -
1-9)、空的 tcp 是否允许回收利用(Reuse)......................................................- 157 -
Linux 常见问题排查..........................................................................................................- 157 -
1-1)、Kernel panic - not syncing: Attempted to kill init..........................................- 157 -
Linux 系统出现问题排查思路..........................................................................................- 158 -
1-1)、查看用户信息...............................................................................................- 158 -
A)、查看当前的用户......................................................................................- 158 -
B)、查看最近登录的用户..............................................................................- 159 -
1-2)、查看直线执行的命令...................................................................................- 159 -
1-3)、查看现在运行的进程...................................................................................- 159 -
1-4)、查看网络服务的进程...................................................................................- 160 -
A)、查看正在运行的端口..............................................................................- 160 -
B)、正在活跃的端口......................................................................................- 160 -
C)、查看 UNIX 活跃的端口............................................................................- 160 -
1-5)、查看 CPU 与内存..........................................................................................- 161 -
A)、查看空闲的内存以及内存与硬盘之间的 SWAP...................................- 161 -
B)、查看运行的详细信息..............................................................................- 161 -
C)、动态查看运行的内存,CPU 等信息......................................................- 161 -
1-6)、硬件信息.......................................................................................................- 162 -
1-1)、系统中所有 PCI 总线设备或连接到该总线上的所有设备...............- 162 -
1-2)、查看硬件方面的信息...........................................................................- 162 -
1-7)、IO 的性能...................................................................................................... - 163 -
- 11 -
A)、查看磁盘的使用情况..............................................................................- 163 -
B)、动态的查看服务器的状态值..................................................................- 163 -
C)、实时的对系统的监控..............................................................................- 163 -
D)、动态显示当前的操作 IO 的进程............................................................- 164 -
1-8)、文件系统以及外接磁盘的信息...................................................................- 164 -
A)、查看当前的挂在的设备..........................................................................- 164 -
B)、查看是否有专用的文件系统..................................................................- 164 -
C)、查看文件系统的挂在的选项..................................................................- 165 -
D)、查看物理卷的信息..................................................................................- 165 -
E)、查看磁盘的剩余情况..............................................................................- 165 -
F)、列出当前系统打开文件的工具..............................................................- 165 -
1-9)、内核与网络...................................................................................................- 166 -
A)、显示在/proc/sys 目录中的内核参数......................................................- 166 -
B)、irq 的序号, 在各自 cpu 上发生中断的次数,可编程中断控制器,设备
名称(request_irq 的 dev_name 字段).........................................................- 166 -
C)、查看链接数据库的信息..........................................................................- 166 -
D)、查看网络套接字连接情况......................................................................- 167 -
E)、获取 socket 统计信息..............................................................................- 167 -
1-10)、日志消息与内核信息的查看.....................................................................- 167 -
A) 、显示 linux 内核的环形缓冲区信息......................................................- 167 -
B)、查看系统报错日志..................................................................................- 168 -
C)、安全信息和系统登录与网络连接的信息..............................................- 168 -
1-11)、查看定时的任务.........................................................................................- 168 -
A) 、查看定时任务的运行频率....................................................................- 168 -
B)、查看用户是否执行了隐藏的命令..........................................................- 169 -
Ubuntu 使用自带工具制作启动盘..................................................................................- 169 -
1-1)、查找软件.......................................................................................................- 169 -
1-2)、制作启动盘...................................................................................................- 170 -

Tomcat 总结...............................................................................................................................- 170 -
概述.....................................................................................................................................- 170 -
1-1)、Tomcatxi 线程池的使用........................................................................................- 171 -
server.xml 优化...........................................................................................................- 171 -
启动内存优化............................................................................................................ - 172 -
1-2)、启动方式...............................................................................................................- 172 -

JVM 总结....................................................................................................................................- 172 -
概述.....................................................................................................................................- 172 -
环境准备.............................................................................................................................- 173 -
工具:.................................................................................................................................- 173 -
1- 1 )、Jconsole.......................................................................................................... - 173 -
1-2 ) 、jvisualvm........................................................................................................- 175 -
1-3)、命令行查看线程的运行情况.......................................................................- 176 -
A)、Jstack 查看堆栈的运行情况...................................................................- 176 -
B)、Jstat 的使用.............................................................................................- 177 -
C)、Jmap 查看 java 程序的内存分配的详细情况.......................................- 178 -
- 12 -
内存模型图解.....................................................................................................................- 179 -
1-1)、内存的模拟图...............................................................................................- 180 -
1-2)、堆(Heep)........................................................................................................- 181 -
1-3)、栈(Stack).................................................................................................. - 182 -
GC 算法...............................................................................................................................- 183 -
1-1)、标记清除算法(Mark-Sweep)..................................................................- 183 -
1-2)、复制算法(Copying)..................................................................................- 184 -
1-3)、标记-整理算法(Mark-Compact).............................................................- 185 -
垃圾回收器.........................................................................................................................- 185 -
1-1)、分代收集方法论...........................................................................................- 185 -
1-2)、分代收集详述...............................................................................................- 186 -
1-3)、垃圾收集器概览...........................................................................................- 187 -
1-4)、Serial 收集器.................................................................................................- 187 -
1-5)、ParNew 收集器............................................................................................. - 188 -
1-6)、Parallel Scavenge 收集器..............................................................................- 188 -
1-7)、Serial Old 收集器.......................................................................................... - 188 -
1-8)、Parallel Old 收集器........................................................................................- 189 -
1-9)、CMS(并发 GC)收集器................................................................................... - 189 -
1-10)、GF(Garbage-First)收集器............................................................................- 190 -
垃圾收集器参数总结........................................................................................................ - 191 -
JVM 参数列表.....................................................................................................................- 193 -
查找占用比较耗时的进程................................................................................................ - 194 -
1-1)、先用 top 命令查找出最耗时的 JAVA 进程号 ...........................................- 194 -
Zookeeper 总结......................................................................................................................... - 195 -
概述.....................................................................................................................................- 196 -
角色.....................................................................................................................................- 196 -
特性.....................................................................................................................................- 196 -
选举机制.............................................................................................................................- 196 -
Zookeeper 节点的类型.....................................................................................................- 197 -
Zookeeper 权限详解.........................................................................................................- 198 -
Zookeeper 的部署.............................................................................................................- 198 -
1 -1 ) 、安装..............................................................................................................- 198 -
1-2 ) 、修改配置文件...............................................................................................- 199 -
A)、修改 zoo.cfg 文件.................................................................................... - 199 -
B)、传送文件..................................................................................................- 200 -
C)、创建 myid 的目录....................................................................................- 200 -
D)、在每个机器上配置 myid.........................................................................- 200 -
E)、在每台机器上添加快捷方式..................................................................- 200 -
F)、修改节点的储存大小.............................................................................. - 200 -
1-3 ) 、启动...............................................................................................................- 201 -
1-4)、一键启动&关闭脚本....................................................................................- 201 -
1-5 ) 、查看进程状态...............................................................................................- 202 -
1-6) 、节点类型.....................................................................................................- 202 -
A)、znode 的特征..........................................................................................- 202 -
- 13 -
B)、CreateMode 的类型.................................................................................- 203 -
C)、znode 的版本号.......................................................................................- 204 -
1-7 ) 、zookerper 的客户端连接............................................................................ - 204 -
A) 、Linux 端链接......................................................................................... - 204 -
B)、Windows 端链接......................................................................................- 210 -
1-8)、查看 zookeeper 版本的控制........................................................................- 211 -
Zookeeper 内存数据库.....................................................................................................- 212 -
1-1)、ZKDatabase 内存数据库的实质载体..........................................................- 212 -
1-2)、详解 DataTree............................................................................................... - 212 -
1-3)、DataNode 类的属性.....................................................................................- 213 -
Zookeeper 的客户端的 API 的使用..................................................................................- 214 -
1 -1 ) 、基本方法......................................................................................................- 214 -
1-2 )、 增删改查 znode 数据...................................................................................- 214 -
1-3)、zookeeper 服务器上下线动态感知.............................................................- 216 -
A)、概述..........................................................................................................- 216 -
B)、设计思路..................................................................................................- 216 -
C)、代码实现..................................................................................................- 217 -
D)、Alibaba 实现动态感知的代码实现........................................................- 220 -
1-4) 、分布式共享锁.............................................................................................- 220 -
A)、概述..........................................................................................................- 220 -
B)、设计思路..................................................................................................- 220 -
C)、代码实现..................................................................................................- 220 -
Node-zk-browser 安装.................................................................................................- 223 -
A)、准备环境,nodes 需要 gcc 环境....................................................................- 223 -
B)、安装 nodes...................................................................................................... - 223 -
C)、解压文件..........................................................................................................- 223 -
D)、编辑文件..........................................................................................................- 223 -
E)、查看 node 版本................................................................................................- 223 -
F)、下载 node-zk-browser......................................................................................- 224 -
G)、安装 node-zk-browser.....................................................................................- 224 -
H)、安装 zk 的版本................................................................................................ - 224 -
I)、修改配置文件................................................................................................... - 224 -
J)、启动服务...........................................................................................................- 224 -
L)、界面展示...........................................................................................................- 224 -
Redis 总结..................................................................................................................................- 225 -
概述.....................................................................................................................................- 226 -
Redis 的特点.......................................................................................................................- 226 -
Redis 储存类型...................................................................................................................- 227 -
1-1)、String..............................................................................................................- 227 -
A)、常用命令..................................................................................................- 227 -
B)、实例..........................................................................................................- 228 -
C)、使用场景..................................................................................................- 228 -
D)、实现方式..................................................................................................- 229 -
- 14 -
1-2)、Hash...............................................................................................................- 229 -
A)、常用命令..................................................................................................- 229 -
B)、实例..........................................................................................................- 229 -
C)、使用场景..................................................................................................- 230 -
D)、实现方式..................................................................................................- 231 -
1-3)、List..................................................................................................................- 231 -
A)、常用命令..................................................................................................- 231 -
B)、实例..........................................................................................................- 232 -
C)、使用场景..................................................................................................- 232 -
D)、实现方式..................................................................................................- 233 -
1-4)、Set..................................................................................................................- 233 -
A)、常用命令..................................................................................................- 233 -
B)、实例..........................................................................................................- 233 -
C)、使用场景..................................................................................................- 234 -
D)、实现方式..................................................................................................- 234 -
1-5)、Sorted Set...................................................................................................- 234 -
A)、常用命令..................................................................................................- 234 -
B)、实例..........................................................................................................- 235 -
C)、使用场景..................................................................................................- 235 -
D)、使用场景..................................................................................................- 236 -
Redis 的安装......................................................................................................................- 236 -
1-1)、安装...............................................................................................................- 236 -
1-2)、查看配置文件...............................................................................................- 237 -
1-3)、启动...............................................................................................................- 252 -
1-4)、启动方式.......................................................................................................- 253 -
A)、前台启动..................................................................................................- 253 -
B)、后台启动..................................................................................................- 254 -
1-5)、客户端链接...................................................................................................- 254 -
A) 、Linux 链接.............................................................................................. - 254 -
B)、JAVA 代码链接......................................................................................... - 255 -
1-6)、Redis 3.2.2 集群搭建....................................................................................- 255 -
A)、环境准备..................................................................................................- 255 -
B)、安装 redis 3.2.2.tar.gz.............................................................................. - 255 -
C)、设置集群的环境......................................................................................- 256 -
D)、修改 redis 的配置文件............................................................................- 256 -
E)、开启每一台机器上的 redis 的服务........................................................- 257 -
F)、查看端口信息.......................................................................................... - 257 -
G)、创建集群..................................................................................................- 257 -
H)、测试集群..................................................................................................- 258 -
Redis 常用命令..................................................................................................................- 259 -
Redis 内部工具..................................................................................................................- 260 -
代码示例.............................................................................................................................- 261 -
1-1)、链接工具.......................................................................................................- 261 -
1-2)、Redis API 使用...............................................................................................- 262 -
- 15 -
RedisStudio 客户端连接工具............................................................................................- 271 -
Redis 持久化储存机制......................................................................................................- 272 -
1-1)、定时快照方式(RDB)................................................................................- 272 -
1-2)、基于语句追加文件的方式(AOF)............................................................- 273 -
1-3)、虚拟内存(vm)..........................................................................................- 273 -
1-4)、Diskstore 方式..............................................................................................- 273 -
Redis 事物的处理..............................................................................................................- 273 -
1-1)、MULTI 事务的使用........................................................................................- 273 -
1-2)、WATCH 事务的使用.....................................................................................- 274 -
Redis 发布订阅..................................................................................................................- 275 -
1-1)、订阅窗口.......................................................................................................- 275 -
1-2)、发布窗口.......................................................................................................- 275 -
1-3)、查看订阅窗口...............................................................................................- 275 -
Redis 的性能测试..............................................................................................................- 276 -
1-1)、查看帮助信息...............................................................................................- 276 -
1-2)、实例...............................................................................................................- 277 -
A)、测试并发..................................................................................................- 277 -
B)、测试数据包的问题..................................................................................- 277 -
C)、测试 set,lpush 的性能............................................................................. - 278 -
D)、只测试某些数值存取的性能..................................................................- 278 -
Redis-trib.rb 详解............................................................................................................... - 278 -
Codis 集群安装..........................................................................................................................- 280 -
概述.....................................................................................................................................- 280 -
结构如下.............................................................................................................................- 280 -
集群安装.............................................................................................................................- 281 -
1-1)、环境准备.......................................................................................................- 281 -
A)、go 语言安装............................................................................................- 281 -
B)、git 语言安装.............................................................................................- 281 -
1-2)、安装 Codis 集群............................................................................................- 282 -
A)、创建下载 codis 的源码目录................................................................... - 282 -
B)、进入的 codis 目录进行编译....................................................................- 282 -
1-3)、安装 Zookeeper.............................................................................................- 283 -
1-4)、配置 Codis 的环境........................................................................................- 283 -
A)、创建 codis 的配置文件........................................................................... - 283 -
B)、启动 bashboard........................................................................................- 286 -
C)、启动 codis-proxy.......................................................................................- 287 -
D)、通过 codis-fe 添加:通过 Add Proxy 按钮........................................- 289 -
E)、配置启动 Cdis FE 集群管理界面............................................................- 289 -
1-5)、一键启动 Codis 脚本....................................................................................- 290 -
1-6)、查看运行的进程...........................................................................................- 290 -
1-7)、图形界面创建组和 solt 节点.......................................................................- 291 -
A) 、创建组....................................................................................................- 291 -
B)、添加实例..................................................................................................- 292 -
C)、对 slots 进行分组.....................................................................................- 292 -
- 16 -
1-8)、添加管理 proxy.............................................................................................- 293 -
A)、创建组......................................................................................................- 293 -
B)、组添加服务器..........................................................................................- 293 -
C)、把从库跟主库同步..................................................................................- 293 -
D)、若从库需要提升为 master.....................................................................- 294 -
E)、初始化 slots,并设置 server group 服务的 slot 范围...........................- 294 -
客户端连接 Codis...............................................................................................................- 294 -
1-1)、命令行连接...................................................................................................- 294 -
1-2)、API 连接.........................................................................................................- 295 -

猜你喜欢

转载自blog.csdn.net/xfg0218/article/details/82316761