项目技术点剖析

1.使用Redis实现分布式部署单点登录（单点登录第一种方法：redis分布式存储解决方案）

因为这个项目是一个分布式部署的项目，而且我们采用的是nginx负载均衡的策略，导致了每一个服务器都需要开辟一个空间来进行用户信息的维护，消耗了大量的资源，所以，我当时使用到了Redis来作为维护用户信息的空间，将用户登录的信息存入Redis中，并且在存入时设置key的过期时间，所有的服务器共用一个Redis，每次进行操作时只需要去Redis中去判断这个用户是否存在，存在的话就说明这个用户现在是登录状态，不存在就说明这个用户没有登录，或者登录已经失效，让用户进行重新登录。

为什么会存在单点登录的问题
- session默认是存储在当前服务器的内存中，如果是集群，那么只有登录那台机器的内存中才有这个session
- 比如说我在A机器登录，B机器是没有这个session存在的，所以需要重新验证
如何解决这个单点登录问题
- 不管在那一台web服务器登录，都会把token值存放到我们的一个集中管理的redis服务器中
- 但客户端携带token验证的时候，会先从redis中获取，就实现单点登录
现实举例
- 比如你写的一个tornado项目，分别部署到A，B两台机器上
- 如果直接使用session，那么如果在A机器登录，token只会在A服务器的内存
- 因为请求会封不到A，b连个机器，如果这个请求到了B机器，B的内存中没有就会让重新登录
- 所以登录A机器的时候我们应该把token值写入到redis中，A/B机器登录，都从redis中获取token进行校验

在这里插入图片描述

2.基于JWT技术及RSA非对称加密实现真正无状态的单点登录（单点等第二种方法：JWT）

在这里插入图片描述

无状态登录原理

在分布式系统中，传统的登录会失效。

原因是因为各个微服务之间用的不是同一台服务器，我们以前登录判断用户状态是通过服务器中session存的数据，也就是把用户信息保存在session中，现在我们有几台不同的服务器，在这台登录完会有一个session信息，但是跳到另外一个服务器，登录状态就会消失，所以登录状态是无法共享的。

因此之前我们学的登录在分布式系统中是无法使用的，不能存储到session中。

什么是有状态？

就是服务端需要记录一下每次会话的客户端信息，从而识别客户端他的身份，根据用户的身份进行请求的处理。 比如：  服务器中的session存储

例如登录：
用户登录后，我们把登录者的信息保存在服务端session中，并且给用户一个cookie值，记录对应的session。然后下次请求，用户携带cookie值来，我们就能识别到对应session，从而找到用户的信息。

缺点是什么？

1.服务端如果搭建集群，集群之间的数据无法共享，于是用户状态无法共享，就不能实现一个跨服务的登录
2.服务端保存大量数据，增加服务端压力
3.服务端保存用户状态，无法进行水平扩展
4.客户端请求依赖服务端，多次请求必须访问同一台服务器

什么是无状态？

识别用户的身份信息是由客户端自己去携带

微服务集群中的每个服务，对外提供的都是Rest风格的接口。而Rest风格的一个最重要的规范就是：服务的无状态性，即：

服务端不保存任何客户端请求者信息
客户端的每次请求必须具备自描述信息，通过这些信息识别客户端身份

带来的好处是什么呢？

1.客户端请求不依赖服务端的信息，任何多次请求不需要必须访问到同一台服务
2.服务端的集群和状态对客户端透明
3.服务端可以任意的迁移和伸缩
4.减小服务端存储压力

如何实现无状态

无状态登录的流程：
1.当客户端第一次请求服务时，服务端对用户进行信息认证（登录）
2.认证通过，将用户信息进行加密形成token，返回给客户端，作为登录凭证
3.以后每次请求，客户端都携带认证的token
4.服务的对token进行解密，判断是否有效。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j4EB9M8R-1582374657680)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\1582021730024.png)]$

整个登录过程中，最关键的点是：token的安全性

token是识别客户端身份的唯一标示，如果加密不够严密，被人伪造那就完蛋了。

采用何种方式加密才是安全可靠的呢？

我们将采用JWT + RSA非对称加密

jwt

简介

JWT，全称是Json Web Token， 是JSON风格轻量级的授权和身份认证规范，可实现无状态、分布式的Web应用授权

数据格式

JWT包含三部分数据：

Header：头部，通常头部有两部分信息：
	声明类型，这里是JWT
    加密算法，自定义（我们用的RSA）
    我们会对头部进行base64加密（可解密），得到第一部分数据
    
Payload：载荷，就是有效数据，一般包含下面信息：
	用户身份信息（注意，这里因为采用base64加密，可解密，因此不要存放敏感信息）
    注册声明：如token的签发时间，过期时间，签发人等
    这部分也会采用base64加密，得到第二部分数据
    
Signature：签名，是整个数据的认证信息。通过base64对头和载荷进行编码，一般根据前两步的数据，再加上服务的的密钥（secret）（不要泄漏，最好周期性更换），通过加密算法生成（RSA算法进行加密，无法进行篡改）。用于验证整个数据完整和可靠性

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YND75jsx-1582374657681)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\1582022085569.png)]$

jwt交互流程

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dGnAWlFB-1582374657687)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\1582022134830.png)]$

1、用户登录
2、服务的认证，通过后根据secret生成token
3、将生成的token返回给用户
4、用户每次请求携带token
5、服务端利用公钥解读jwt签名，判断签名有效后，从Payload中获取用户信息
6、处理请求，返回响应结果

因为JWT签发的token中已经包含了用户的身份信息，并且每次请求都会携带，这样服务的就无需保存用户信息，甚至无需去数据库查询，完全符合了Rest的无状态规范。

非对称加密

加密技术是对信息进行编码和解码的技术，编码是把原来可读信息（又称明文）译成代码形式（又称密文），其逆过程就是解码（解密），加密技术的要点是加密算法，加密算法可以分为三类：
对称加密、非对称加密、不可逆加密

对称加密，如AES（通信双方都持有相同秘钥）

基本原理：将明文分成N个组，然后使用密钥对各个组进行加密，形成各自的密文，最后把所有的分组密文进行合并，形成最终的密文。

优势：算法公开、计算量小、加密速度快、加密效率高
缺陷：双方都使用同样密钥，安全性得不到保证

非对称加密，如RSA

基本原理：同时生成两把密钥：私钥和公钥，私钥隐秘保存，公钥可以下发给信任客户端
	私钥加密，持有私钥或公钥才可以解密
    公钥加密，持有私钥才可解密
    
优点：安全，难以破解
缺点：算法比较耗时

不可逆加密，如MD5，SHA

基本原理：加密过程中不需要使用密钥，输入明文后由系统直接经过加密算法处理成密文，这种加密后的数据是无法被解密的，无法根据密文推算出明文。

RSA算法历史：

1977年，三位数学家Rivest、Shamir 和 Adleman 设计了一种算法，可以实现非对称加密。这种算法用他们三个人的名字缩写：RSA

3.用户登录对接QQ、微信、微博等三方登录

https://open.weixin.qq.com/connect/qrconnect?

appid=wx827225356b689e24&（到官方注册的应用标识，标识开发者）

redirect_uri=http://127.0.0.1:8080

参考博客：https://www.cnblogs.com/xiaonq/p/12271345.html

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gz9JflmG-1582374496650)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\1582110429608.png)]$

4.基于 Django 的后台管理平台，采用 RBAC 权限管理机制

用户表、角色表、权限表

用户与角色进行关联，角色与权限进行关联
django本身自带角色权限管理机制

在这里插入图片描述

5.结合DRF框架提供标准RESTful API接口

https://www.cnblogs.com/xiaonq/p/10053234.html

RESTful不是一种技术，而是一种接口规范，主要规范包括：1.请求方式、2.状态码、3、url规范、4、传参规范

请求方式method
- GET ：从服务器取出资源（一项或多项）
- POST ：在服务器新建一个资源
- PUT ：在服务器更新资源（客户端提供改变后的完整资源）
- PATCH ：在服务器更新资源（客户端提供改变的属性）
- DELETE ：从服务器删除资源
状态码

'''1. 2XX请求成功'''
# 200 请求成功，一般用于GET与POST请求
# 201 Created - [POST/PUT/PATCH]：用户新建或修改数据成功。
# 202 Accepted - [*]：表示一个请求已经进入后台排队（异步任务）
# 204 NO CONTENT - [DELETE]：用户删除数据成功。
'''2. 3XX重定向'''
# 301 NO CONTENT - 永久重定向
# 302 NO CONTENT - 临时重定向
'''3. 4XX客户端错误'''
# 400 INVALID REQUEST - [POST/PUT/PATCH]：用户发出的请求有错误。
# 401 Unauthorized - [*]：表示用户没有权限（令牌、用户名、密码错误）。
# 403 Forbidden - [*] 表示用户得到授权（与401错误相对），但是访问是被禁止的。
# 404 NOT FOUND - [*]：用户发出的请求针对的是不存在的记录。
# 406 Not Acceptable - [GET]：用户请求的格式不可得（比如用户请求JSON格式，但是只有XML格式）。
# 410 Gone -[GET]：用户请求的资源被永久删除，且不会再得到的。
# 422 Unprocesable entity - [POST/PUT/PATCH] 当创建一个对象时，发生一个验证错误。
'''4. 5XX服务端错误'''
# 500 INTERNAL SERVER ERROR - [*]：服务器内部错误，无法完成请求
# 501 Not Implemented     服务器不支持请求的功能，无法完成请求

面向资源编程：路径，视网络上任何东西都是资源，均使用名词表示（可复数）
- 所有请求实际操作的都是数据库中的表，每一个表当做一个资源
- 资源是一个名称，所以RESTful规范中URL只能有名称或名词的复数形式
- https://api.example.com/v1/zoos
- https://api.example.com/v1/animals
- https://api.example.com/v1/employees
过滤，通过在url上传参的形式传递搜索条件
- https://api.example.com/v1/zoos?limit=10：指定返回记录的数量
- https://api.example.com/v1/zoos?offset=10：指定返回记录的开始位置
- https://api.example.com/v1/zoos?page=2&per_page=100：指定第几页，以及每页的记录数
- https://api.example.com/v1/zoos?sortby=name&order=asc：指定返回结果按照哪个属性排序，以及排序顺序
- https://api.example.com/v1/zoos?animal_type_id=1：指定筛选条件

django的DRF

https://www.cnblogs.com/xiaonq/p/10987889.html

认证
权限
序列化
版本号
限流

要求：对照上面的博客把，认证，权限，序列化

6.借助xterm.js、paramiko、Dwebsocket、SSH完成WebSSH在线编程

websocket：https://www.cnblogs.com/xiaonq/p/12238651.html

webssh：https://www.cnblogs.com/xiaonq/p/12243024.html

1.什么是WebSSH?

webssh 泛指一种技术可以在网页上实现一个 SSH 终端。
ssh终端：用来通过ssh协议，连接服务器进行管理
运维开发方向：堡垒机登录、线上机器管理（因为运维人员不肯能24小时携带电脑）
在线编程：提供一个编程环境

2.websocket

什么是websocket
- webSocket是一种在单个TCP连接上进行全双工通信的协议
- 客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。
- 浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输
远古时期解决方案就是轮训
- 客户端以设定的时间间隔周期性地向服务端发送请求，频繁地查询是否有新的数据改动（浪费流量和资源）
webSocket应用场景？
- **聊天软件：**最著名的就是微信，QQ，这一类社交聊天的app
- **弹幕：**各种直播的弹幕窗口
- **在线教育：**可以视频聊天、即时聊天以及其与别人合作一起在网上讨论问题…
websocket与http区别
- http请求建立连接只能发送一次请求
- websocket建立的长连接，一次连接，后续一直通信，这样节省资源
websocket原理
- websocket首先借助http协议（通过在http头部设置属性，请求和服务器进行协议升级，升级协议为websocket的应用层协议）
- 建立好和服务器之间的数据流，数据流之间底层还是依靠TCP协议；
- websocket会接着使用这条建立好的数据流和服务器之间保持通信；
- 由于复杂的网络环境，数据流可能会断开，在实际使用过程中，我们在onFailure或者onClosing回调方法中，实现重连
websocket实现心跳检测的思路
- 通过setInterval定时任务每个3秒钟调用一次reconnect函数
- reconnect会通过socket.readyState来判断这个websocket连接是否正常
- 如果不正常就会触发定时连接，每4s钟重试一次，直到连接成功
- 如果是网络断开的情况下，在指定的时间内服务器端并没有返回心跳响应消息，因此服务器端断开了。
- 服务断开我们使用ws.close关闭连接，在一段时间后，可以通过 onclose事件监听到。

redis常用命令

import redis
r = redis.Redis(host='1.1.1.3', port=6379)

#1、打印这个Redis缓存所有key以列表形式返回：[b'name222', b'foo']
print( r.keys() )                      # keys *

#2、清空redis
r.flushall()

#3、设置存在时间：  ex=1指这个变量只会存在1秒，1秒后就不存在了
r.set('name', 'Alex')                 # ssetex name Alex
r.set('name', 'Alex',ex=1)             # ssetex name 1 Alex

#4、获取对应key的value
print(r.get('name'))                # get name

#5、删除指定的key
r.delete('name')                    # del 'name'

#6、避免覆盖已有的值：  nx=True指只有当字典中没有name这个key才会执行
r.set('name', 'Tom',nx=True)        # setnx name alex

#7、重新赋值： xx=True只有当字典中已经有key值name才会执行
r.set('name', 'Fly',xx=True)       # set name alex xx

#8、psetex(name, time_ms, value) time_ms，过期时间（数字毫秒 或 timedelta对象）
r.psetex('name',10,'Tom')          # psetex name 10000 alex

#10、mset 批量设置值;  mget 批量获取
r.mset(key1='value1', key2='value2')           # mset k1 v1 k2 v2 k3 v3
print(r.mget({'key1', 'key2'}))                # mget k1 k2 k3

#11、getset(name, value) 设置新值并获取原来的值
print(r.getset('age','100'))                    # getset name tom

#12、getrange(key, start, end)    下面例子就是获取name值abcdef切片的0-2间的字符（b'abc'）
r.set('name','abcdef')
print(r.getrange('name',0,2))

#13、setbit(name, offset, value)  #对name对应值的二进制表示的位进行操作
r.set('name','abcdef')
r.setbit('name',6,1)    #将a（1100001）的第二位值改成1，就变成了c（1100011）
print(r.get('name'))    #最后打印结果：b'cbcdef'

#14、bitcount(key, start=None, end=None) 获取name对应的值的二进制表示中 1 的个数

#15、incr(self,name,amount=1) 自增 name对应的值，当name不存在时，则创建name＝amount，否则自增

#16、derc 自动减1：利用incr和derc可以简单统计用户在线数量
#如果以前有count就在以前基础加1，没有就第一次就是1，以后每运行一次就自动加1
num = r.incr('count')

#17、num = r.decr('count')    #每运行一次就自动减1
#每运行一次incr('count')num值加1每运行一次decr后num值减1
print(num)            

#18、append(key, value) 在redis name对应的值后面追加内容
r.set('name','aaaa')
r.append('name','bbbb')
print(r.get('name'))        #运行结果： b'aaaabbbb'

7.redis集群实现秒杀和解决超卖问题

**redis命令：**https://www.cnblogs.com/xiaonq/p/7919111.html
**redis解决超卖问题：**https://www.cnblogs.com/xiaonq/p/12328934.html

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ijef0zjJ-1582374930747)(assets/1582252656912.png)]

8.集成支付宝、微信、银联等进行聚合支付(怎么保证接口安全)

支付宝支付：https://www.cnblogs.com/xiaonq/p/12332990.html

相关的资源：appid、支付宝公钥、app公钥、app私钥、django环境
流程
- 生成公钥（app公钥、app私钥）
- APP的公钥要上传到沙箱环境，然后我们要下载支付宝公钥
代码如何实现
- 第一：生成支付的url
  - 在电脑本地生成公钥、私钥（app公钥、app私钥）
  - APP的公钥要上传到沙箱环境，然后我们要下载支付宝公钥
  - 提供（实例化Alipay对象）：appid、支付宝公钥、app私钥
  - 提供（拼接付款的url）：订单id、金额、标题、return_url(付款成功的回调接口)、notify_url(付款成功后的异步通知)
- 第二：主动查询支付结果
  - 提供（实例化Alipay对象）：appid、支付宝公钥、app私钥
  - 提供一个订单id就可以查询当前订单支付结果
支付宝是如何保证数据安全的（数据传输如何保证安全）

9.课程加入路径celery触发更新提醒

celery原理
celery应用场景
- 异步任务
  - 发邮件、发送消息
  - 自动化工单中耗时任务
  - 所有需要异步处理的请求都可以
- 定时任务
  - 工单系统定时获取超时工单进行延时报警
  - 对过期会员进行清理
celery的场景（生产者消费者）可以使用多线程解决吗
- 前端发送一个请求，执行自动化工单需要半个小时，这时候如果使用多线程页面会等待吗？

10.进程

进程

https://www.cnblogs.com/xiaonq/p/7905347.html#i3
- 进程是资源分配的最小单位（内存、cpu、网络、io）
- 一个运行起来的程序就是一个进程
  - 什么是程序（程序是我们存储在硬盘里的代码）
  - 硬盘（256G）、内存条（8G）
  - 当我们双击图标，打开程序的时候，实际上就是通过I/O操作（读写）内存条里面
  - 内存条就是我们所指的资源
  - CPU分时
    - CPU比你的手速快多了，分时处理每个线程，但是由于太快然你觉得每个线程都是独占cpu
    - cpu是计算，只有时间片到了，获取cpu，线程真正执行
    - 当你想使用网络、磁盘等资源的时候，需要cpu的调度
- 进程具有独立的内存空间，所以没有办法相互通信
  - 进程如何通信
    - 进程queue
    - pipe
    - managers
    - RabbitMQ、redis等
- 为什么需要进程池
  - 一次性开启指定数量的进程
  - 如果有十个进程，有一百个任务，一次可以处理多少个（一次性只能处理十个）
  - 防止进程开启数量过多导致服务器压力过大

11.线程

有了进程为什么还需要线程
- 因为进程不能同一时间只能做一个事情
什么是线程
- 线程是操作系统调度的最小单位
- 线程是进程正真的执行者，是一些指令的集合（进程资源的拥有者）
- 同一个进程下的读多个线程共享内存空间，数据直接访问（数据共享）
- 为了保证数据安全，必须使用线程锁
GIL全局解释器锁
- 在python全局解释器下，保证同一时间只有一个线程运行
- 防止多个线程都修改数据
线程锁（互斥锁）
- GIL锁只能保证同一时间只能有一个线程对某个资源操作，但当上一个线程还未执行完毕时可能就会释放GIL，其他线程就可以操作了
- 线程锁本质把线程中的数据加了一把互斥锁
  - mysql中共享锁 & 互斥锁
    - mysql共享锁：共享锁，所有线程都能读，而不能写
    - mysql排它锁：排它，任何线程读取这个这个数据的权利都没有
  - 加上线程锁之后所有其他线程，读都不能读这个数据
- 有了GIL全局解释器锁为什么还需要线程锁
  - 因为cpu是分时使用的
死锁定义
- 两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去

12.协程

什么是协程
- 协程微线程，纤程，本质是一个单线程
- 协程能在单线程处理高并发
  - 线程遇到I/O操作会等待、阻塞，协程遇到I/O会自动切换（剩下的只有CPU操作）
  - 线程的状态保存在CPU的寄存器和栈里而协程拥有自己的空间，所以无需上下文切换的开销，所以快、
- 为甚么协程能够遇到I/O自动切换
  - 协程有一个gevent模块(封装了greenlet模块)，遇到I/O自动切换
协程缺点
- 无法利用多核资源：协程的本质是个单线程,它不能同时将单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上
- 线程阻塞（Blocking）操作（如IO时）会阻塞掉整个程序

13.select、epool、pool

https://www.cnblogs.com/xiaonq/p/7907871.html

I/O的实质是什么？
- I/O的实质是将硬盘中的数据，或收到的数据实现从内核态 copy到用户态的过程
- 本文讨论的背景是Linux环境下的network IO。
- 比如微信读取本地硬盘的过程
  - 微信进程会发送一个读取硬盘的请求----》操作系统
  - 只有内核才能够读取硬盘中的数据—》数据返回给微信程序（看上去就好像是微信直接读取）
用户态 & 内核态
- 系统空间分为两个部分，一部分是内核态，一部分是用户态的部分
- 内核态：内核态的空间资源只有操作系统能够访问
- 用户态：我们写的普通程序使用的空间
select
- 只能处理1024个连接（每一个请求都可以理解为一个连接）
- 不能告诉用户程序，哪一个连接是活跃的
pool
- 只是取消了最大1024个活跃的限制
- 不能告诉用户程序，哪一个连接是活跃的
epool
- 不仅取消了1024这个最大连接限制
- 而且能告诉用户程序哪一个是活跃的
  $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ukOVZz2g-1582526344077)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\1582526012780.png)]$