车联网架构设计(一)_消息平台的搭建

企业开发 2023-12-17 06:10:10 阅读次数: 0

车联网是物联网的一个主要应用方向，车辆通过连接车联网平台，实时进行消息的交互，平台可以提供车辆远程控制，故障检测，车路协同等各方面的功能。

我在车联网行业从事了很长时间的技术工作，参与了整个车联网平台的构建以及很多不同车联网应用的开发工作，这里打算以构建一个车联网平台作为例子，总结一下涉及到的架构设计方面的东西。

系统功能

一个车联网平台需要实现以下的一些功能：

1. 与车辆的消息交互

在物联网中，主要应用的通信协议是MQTT，这是一个基于发布/订阅模式的物联网通信协议，具备了支持QoS，简单易实现，报文紧凑等特点。在车联网中，大部分的车企也是采用MQTT协议来进行通讯。因此在车联网的架构中，我们需要考虑设置一个MQTT Broker集群来与大量的车辆进行连接通信。目前有很多的开源的Broker，例如ActiveMQ, EMQ, RocketMQ等等，其中EMQ和RocketMQ都是国内的产品，有详尽的中文资料介绍。这里我选择EMQ作为MQTT Broker。

2. 车辆消息的消费与存储

MQTT Broker接收到车辆的消息后，需要把消息给到上层应用来进行处理。我们可以把这些消息保存到数据库或者转发到一个消息队列来缓存。这里我选择Kafka。上层应用通过订阅Kafka主题，来获得其需要的相关车辆信息，进行处理。上层应用也可以把要下发给车辆的消息发送到Kafka的主题，然后让MQTT Broker再转发给车辆，也可以直接通过MQTT主题发布消息的方式来直接发送给车辆。

3. V2X应用

包括了V2V， V2I， V2P等应用场景，车辆需要能和不同的数据源进行消息交互，从而为驾驶提供决策信息。我将基于这个平台展示一些V2X应用的开发设计，实现3GPP规范里面制定的一些V2X场景。

4. 车辆数据分析与报表

车联网平台每天都收集和生成了大量的数据，通过对这些数据进行发掘分析，可以更好的了解业务运行的情况，同时也可以更好的为商业决策提供参考。我们可以基于目前流行的大数据处理平台，例如Spark/Beam/Flink等，对数据进行即时的处理，保存到数据仓库，随后再进行各种数据分析和报表呈现。

在这篇文章中，我先对以上提到的第一点功能进行介绍，搭建一个MQTT消息平台。

MQTT消息平台

我选择EMQX来搭建这个平台，EMQX是国内的一个优秀的MQTT broker软件，有企业版和开源版，这里我选择开源版。在官网上有介绍安装方式，在Kubernetes上是采用Operator的方式来安装的，但是我这里采用kustomization的方式来安装，因为这样方便我进行一些设置上的改动。在我本地用minikube启动了一个kubernetes cluster。

安装EMQX集群

定义一个新的namespace

apiVersion: v1
kind: Namespace
metadata:
  name: emqx

为这个namespace创建一个service account并赋予相关权限

apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: emqx
  name: emqx
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  namespace: emqx
  name: emqx
rules:
- apiGroups:
  - ""
  resources:
  - endpoints 
  verbs: 
  - get
  - watch
  - list
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  namespace: emqx
  name: emqx
subjects:
  - kind: ServiceAccount
    name: emqx
    namespace: emqx
roleRef:
  kind: Role
  name: emqx
  apiGroup: rbac.authorization.k8s.io

定义一个configmap，因为我们要创建一个statefulset的emqx多个节点，要实现auto cluster的功能，自动把这多个节点组成一个cluster，因此需要定义相关的配置：

apiVersion: v1
kind: ConfigMap
metadata:
  name: emqx-config
  namespace: emqx
data:
  EMQX_NAME: "emqx"
  EMQX_CLUSTER__DISCOVERY_STRATEGY: "k8s"
  EMQX_CLUSTER__K8S__SERVICE_NAME: "emqx-headless"
  EMQX_CLUSTER__K8S__NAMESPACE: "emqx"
  EMQX_CLUSTER__K8S__ADDRESS_TYPE: "hostname"
  EMQX_CLUSTER__K8S__APISERVER: "https://kubernetes.default.svc:443"
  EMQX_CLUSTER__K8S__SUFFIX: "svc.cluster.local"

定义一个headless的service，用于statefulset的服务暴露和通信。

apiVersion: v1
kind: Service
metadata:
  name: emqx-headless
  namespace: emqx
spec:
  type: ClusterIP
  clusterIP: None
  selector:
    app: emqx
  ports:
  - name: mqtt
    port: 1883
    protocol: TCP
    targetPort: 1883
  - name: mqttssl
    port: 8883
    protocol: TCP
    targetPort: 8883
  - name: mgmt
    port: 8081
    protocol: TCP
    targetPort: 8081
  - name: websocket
    port: 8083
    protocol: TCP
    targetPort: 8083
  - name: wss
    port: 8084
    protocol: TCP
    targetPort: 8084
  - name: dashboard
    port: 18083
    protocol: TCP
    targetPort: 18083

最后是定义一个statefulset，里面包含了2个节点。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: emqx-statefulset
  labels:
    app: emqx
  namespace: emqx
spec:
  serviceName: emqx-headless
  updateStrategy:
    type: RollingUpdate
  replicas: 2
  selector:
    matchLabels:
      app: emqx
  template:
    metadata:
      labels:
        app: emqx
    spec:
      serviceAccountName: emqx
      containers:
      - name: emqx
        image: emqx/emqx:5.1.6
        resources:
          requests:
            memory: "1Gi"
            cpu: "250m"
          limits:
            memory: "1Gi"
            cpu: "250m"
        ports:
        - name: mqtt
          containerPort: 1883
        - name: mqttssl
          containerPort: 8883
        - name: mgmt
          containerPort: 8081
        - name: ws
          containerPort: 8083
        - name: wss
          containerPort: 8084
        - name: dashboard
          containerPort: 18083
        envFrom:
          - configMapRef:
              name: emqx-config

定义一个kustomization.yaml文件，把以上定义的manifest包括进来：

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- namespace.yaml
- rbac.yaml
- configmap.yaml
- headless.yaml
- statefulset.yaml

最后运行kubectl apply -k即可部署，我们可以运行以下命令来查看emqx cluster的状态：

kubectl exec emqx-statefulset-0 -n emqx -- emqx_ctl cluster status

如果成功运行，将显示如下信息：

Cluster status: #{running_nodes =>
                      ['[email protected]',
                       '[email protected]'],
                  stopped_nodes => []}

可见当前的EMQX cluster包括了两个节点并已成功运行。

配置HAProxy

下一步我将配置一个HAProxy来作为Load balancer，连接EMQX集群。这种方式可以提供如下好处：

  • HAProxy作为一个反向代理可以隐藏emqx节点的信息，并为外部提供一个统一的地址来连接
  • 可以用作MQTT over TLS的终结，减轻emqx节点处理SSL加密的计算负荷，并且简化证书部署和管理的工作
  • 提供内在的MQTT支持，支持解析MQTT消息以实现粘性附着和智能负荷分配等功能
  • 通过主备方式提供高可靠性

同样我也是以kustomization的方式来部署HAProxy

定义一个namespace

apiVersion: v1
kind: Namespace
metadata:
  name: haproxy

定义一个configmap，因为haproxy启动需要读取haproxy.cfg配置文件的信息，把这个文件通过configmap的方式来加载

apiVersion: v1
kind: ConfigMap
metadata:
  name: haproxy-config
  namespace: haproxy
data:
  haproxy.cfg: |
    global  
      log 127.0.0.1 local3 info 
      daemon  
      maxconn 10240

    defaults  
      log global 
      mode tcp 
      option tcplog 
      #option dontlognull  
      timeout connect 10000 
      # timeout > mqtt's keepalive * 1.2  
      timeout client 240s  
      timeout server 240s 
      maxconn 20000

    backend mqtt_backend
      mode tcp
      # 粘性会话负载均衡
      stick-table type string len 32 size 1000k expire 30m
      stick on req.payload(0,0),mqtt_field_value(connect,client_identifier)

      server emqx0 emqx-statefulset-0.emqx-headless.emqx.svc.cluster.local:1883
      server emqx1 emqx-statefulset-1.emqx-headless.emqx.svc.cluster.local:1883

    frontend mqtt_servers
      bind *:1883
      mode tcp
      # 拒绝非 MQTT 连接
      # tcp-request content reject unless { req.payload(0,0),mqtt_is_valid }
      default_backend mqtt_backend

定义一个deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: haproxy
  name: haproxy
  namespace: haproxy
spec:
  replicas: 1
  selector:
    matchLabels:
      app: haproxy
  template:
    metadata:
      labels:
        app: haproxy
    spec:
      containers:
      - name: haproxy
        image: haproxy:2.8
        ports:
        - name: http
          containerPort: 80
        - name: https
          containerPort: 443
        - name: haproxy-mgmt
          containerPort: 1024
        - name: mqtt
          containerPort: 1883
        - name: mqttssl
          containerPort: 8883
        - name: mgmt
          containerPort: 8081
        - name: ws
          containerPort: 8083
        - name: wss
          containerPort: 8084
        - name: dashboard
          containerPort: 18083
        volumeMounts:
        - name: haproxy-config
          mountPath: /usr/local/etc/haproxy/haproxy.cfg
          subPath: haproxy.cfg
      volumes:
      - name: haproxy-config
        configMap:
          name: haproxy-config
          items:
            - key: haproxy.cfg
              path: haproxy.cfg

定义一个service，暴露harpoxy的端口

apiVersion: v1
kind: Service
metadata:
  name: haproxy-service
  namespace: haproxy
spec:
  selector:
    app: haproxy
  ports:
    - name: mqtt
      port: 1883
      protocol: TCP
      targetPort: mqtt
    - name: mqtts
      port: 8883
      protocol: TCP
      targetPort: 8883
    - name: ws
      port: 8083
      protocol: TCP
      targetPort: 8083
    - name: wss
      port: 8084
      protocol: TCP
      targetPort: 8084
    - name: dashboard
      port: 18083
      protocol: TCP
      targetPort: 18083

最后定义一个kustomization.yaml

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- namespace.yaml
- configmap.yaml
- haproxy_deployment.yaml
- service.yaml

运行kubectl apply -k来部署

配置Ingress

在我的minikube k8s集群上暴露HAProxy的端口，使得外部可以访问MQTT。因为我想仍然暴露1883端口给外部访问，所以需要在minikube启动的时候设置

minikube start --extra-config=apiserver.service-node-port-range=1-65535

然后安装HAProxy ingress，通过helm的方式安装

helm repo add haproxytech https://haproxytech.github.io/helm-charts
helm repo update
helm install haproxy-kubernetes-ingress haproxytech/kubernetes-ingress \
  --create-namespace \
  --namespace haproxy-controller

安装完成之后，我们需要创建一个configmap，配置要暴露的TCP端口，通过kubectl apply -f来部署。

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp
  namespace: haproxy
data:
  1883:
    haproxy/haproxy-service:1883
  8883:
    haproxy/haproxy-service:8883   
  8083:
    haproxy/haproxy-service:8083
  8084:
    haproxy/haproxy-service:8084
  18083:
    haproxy/haproxy-service:18083

读取HAProxy ingress的配置信息，保存在values.yaml文件

helm show values haproxytech/kubernetes-ingress > values.yaml

然后在values.yaml里面找到以下对应位置，进行修改：

    tcpPorts:
     - name: mqtt
       port: 1883
       targetPort: 1883
       nodePort: 1883
     - name: mqtts
       port: 8883
       targetPort: 8883
       nodePort: 8883
     - name: ws
       port: 8083
       targetPort: 8083
       nodePort: 8083
     - name: wss
       port: 8084
       targetPort: 8084
       nodePort: 8084
     - name: dashboard
       port: 18083
       targetPort: 18083
       nodePort: 18083
# add extra args in controller section
  extraArgs:
   - --configmap-tcp-services=haproxy/tcp

运行以下命令更新haproxy-ingress的配置

helm upgrade -f values.yaml haproxy-kubernetes-ingress -n haproxy-controller haproxytech/kubernetes-ingress

现在我们就可通过一个MQTT客户端来通过HAPROXY来连接EMQX了，服务器地址是minikubeip:1883，通过访问minikubeip:18083可以访问EMQX的dashboard

配置证书

在实际应用中，车辆和平台之间是通过TLS加密来通信的，有单向认证和双向认证两种方式。单向认证指客户端需要验证服务器端是否持有受信任的证书，双向认证则指双方都需要验证。这里以双向认证为例进行配置。

1. 创建根CA证书

以自签证书的方式来做，首先是创建一个根CA证书，如以下命令。

openssl req -newkey rsa:2048 -nodes -x509 -days 3650 -keyout root-ca.key -out root-ca.crt

用以下命令可以查看创建的证书内容

openssl x509 -noout -text -in root-ca.crt

2. 为客户端签发证书

有了中间CA证书后，我们就可以为客户端创建证书了，例如为一辆ID为vehicle-1的车辆签发证书。

openssl req -newkey rsa:2048 -nodes -days 365 -subj "/CN=vehicle-1/O=vehicle" -keyout client.key -out client.csr

创建一个扩展文件client-cert-extensions.cnf，声明其是client certificate type

basicConstraints = CA:FALSE
keyUsage = digitalSignature
extendedKeyUsage = clientAuth
subjectKeyIdentifier = hash
authorityKeyIdentifier = keyid,issuer

然后用中间CA证书签发

openssl x509 -req -in client.csr -out client.crt -CA intermediate-ca.crt -CAkey intermediate-ca.key    -CAcreateserial -days 365 -extfile client-cert-extensions.cnf

3. 为服务器端签发证书

同理，为服务器端也签发证书，这里稍微不同的是需要在证书里面指定服务器的IP或DNS地址。

首先创建服务器的private key

openssl genrsa -out emqx.key 2048

创建一个扩展文件openssl.cnf，其中distinguished_name可以按照自己需要设置，在IP.1和DNS.1里面设置服务器的地址。例如我在IP.1上面设置了Minikube的IP

[req]
default_bits  = 2048
distinguished_name = req_distinguished_name
req_extensions = req_ext
x509_extensions = v3_req
prompt = no
[req_distinguished_name]
countryName = CN
stateOrProvinceName = Zhejiang
localityName = Hangzhou
organizationName = EMQX
commonName = Server certificate
[req_ext]
subjectAltName = @alt_names
[v3_req]
subjectAltName = @alt_names
[alt_names]
IP.1 = BROKER_ADDRESS
DNS.1 = BROKER_ADDRESS

生成一个请求签发证书的csr

openssl req -new -key ./emqx.key -config openssl.cnf -out emqx.csr

用根CA证书签发

openssl x509 -req -in ./emqx.csr -CA root-ca.crt -CAkey root-ca.key -CAcreateserial -out emqx.crt -days 3650 -sha256 -extensions v3_req -extfile openssl.cnf

然后把emqx.crt和emqx.key合成一个文件

cat emqx.crt emqx.key > server.pem

4. 创建一个secret

把刚才创建的emqx.pem，root-ca.crt文件的内容保存到secret中，定义一个yaml

apiVersion: v1
kind: Secret
metadata:
  name: haproxy-secret
  namespace: haproxy
type: Opaque
stringData:
  server.pem: |
    -----BEGIN CERTIFICATE-----
    XXXX
    -----END CERTIFICATE-----
    -----BEGIN RSA PRIVATE KEY-----
    XXXX
    -----END RSA PRIVATE KEY-----
  cacert.pem: |
    -----BEGIN CERTIFICATE-----
    XXXX
    -----END CERTIFICATE-----

5. 修改haproxy deployment

修改之前定义的haproxy deployment manifest，在Volumes增加一个secret类型的volume

      - name: haproxy-secret
        secret:
          secretName: haproxy-secret
          items:
          - key: server.pem
            path: server.pem
          - key: cacert.pem
            path: cacert.pem

在volumeMounts里面增加挂载

        - name: haproxy-secret
          mountPath: /etc/haproxy/certs/cacert.pem
          subPath: cacert.pem
        - name: haproxy-secret
          mountPath: /etc/haproxy/certs/server.pem
          subPath: server.pem

6. 修改HAproxy.cfg配置

在刚才定义的configmap中，修改HAproxy.cfg的配置，增加一个mqtt_tls_frontend的配置，表示要启用双向认证

    frontend mqtt_tls_frontend
      # bind *:8883 ssl crt /etc/haproxy/certs/server.pem 
      # 双向认证
      bind *:8883 ssl crt /etc/haproxy/certs/server.pem ca-file /etc/haproxy/certs/cacert.pem verify required
      mode tcp
      default_backend mqtt_backend

最后重新部署HAproxy即可生效

连接检验

我们可以用mqttx来测试一下连接到MQTT消息平台

运行以下命令来订阅hello主题的消息，可见能成功连接。

mqttx sub -t "hello" -h "minikubeip" -p 8883 -l "mqtts" --key "client.key" --cert "client.crt" --ca "root-ca.crt"

要发送消息，可以用如下命令测试

mqttx pub -t "hello" -m "test message" -h "minikubeip" -p 8883 -l "mqtts" --key "client.key" --cert "client.crt" --ca "root-ca.crt"

我们已经成功搭建了一个EMQX的消息平台，可以实现与车辆之间的MQTT消息通信。在下一篇博客我将介绍如何把EMQX收到的消息桥接到Kafka消息队列。

猜你喜欢

转载自blog.csdn.net/gzroy/article/details/134562705
今日推荐
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
周排行
NEFU 117 素数个数的位数
Closest Common Ancestors (Lca,tarjan)
ELK部署
【转载】Hive笔记整理（三）
SQL语句（一）基本表的定义
关于Java web开发中的MySQL的事务语句
MFC创建自定义窗体
如何用一句话激怒程序员？
《逆袭大学》文摘——9.4 基础和应用的平衡中找到大学的节奏
【spring源码分析】@Value注解原理
每日归档
更多
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022