目次
1. ネットワーク通信プロトコルの設計
1.1. インタラクションモデル
現時点で考慮する必要がある対話モデル: プロデューサーとコンシューマーはすべてクライアントであり、それらはすべてネットワークを通じて BrokerServer と通信する必要があります。
ここでは、通信の基礎となるプロトコルとして TCP プロトコルを使用し、同時にこれに基づいてアプリケーション層プロトコルをカスタマイズして、クライアントによるサーバー機能のリモート呼び出しを完了します。
TCP には接続 (Connection) があり、TCP 接続の作成/切断のコストは依然として非常に高い (3 回のハンドシェイクが必要) ため、ここでは Channel を使用して Connection 内の「論理」接続を表し、「パイプライン」を作成します。 「複数のネットワークケーブル伝送」の効果でTCP接続の再利用が可能
Ps: リモートで呼び出される関数は VirtualHost の public メソッドです。
1.2. カスタマイズされたアプリケーション層プロトコル
1.2.1. リクエストおよびレスポンスのフォーマット規則
前に定義した Message オブジェクトはバイナリ データであるため、ここで JSON などのテキスト プロトコル/形式を使用するのは不便です。
したがって、ここではバイナリ方式でプロトコルを設定します。
リクエストは次のとおりです。
/**
* 表示一个网络通信中的请求对象，按照自定义协议的格式展开
*/
public class Request {
private int type;
private int length;
private byte[] payload;
public int getType() {
return type;
}
public void setType(int type) {
this.type = type;
}
public int getLength() {
return length;
}
public void setLength(int length) {
this.length = length;
}
public byte[] getPayload() {
return payload;
}
public void setPayload(byte[] payload) {
this.payload = payload;
}
}
応答は次のとおりです。
/**
* 这个对象表示一个响应，是根据自定义应用层协议来的
*/
public class Response {
private int type;
private int length;
private byte[] payload;
public int getType() {
return type;
}
public void setType(int type) {
this.type = type;
}
public int getLength() {
return length;
}
public void setLength(int length) {
this.length = length;
}
public byte[] getPayload() {
return payload;
}
public void setPayload(byte[] payload) {
this.payload = payload;
}
}
1.2.2. パラメータの説明
1) type は、現在のリクエストとレスポンスが何に使用されるかを示すために使用される整数です (VirtualHost のコア API に相当します)。値は次のとおりです。
- 0x1 はチャネルを作成します
- 0x2 チャネルを閉じる
- 0x3 交換の作成
- 0x4 交換を破壊する
- 0x5 はキューを作成します
- 0x6 キューを破棄する
- 0x7 バインディングの作成
- 0x8 バインディングを破棄する
- 0x9 メッセージを送信
- 0xa メッセージを購読する
- 0xb は ack を返します
- 0xc サーバーによってクライアントにプッシュされたメッセージ (サブスクライブされたメッセージ) 応答に固有のメッセージ。
2) 長さはペイロードの長さを表すために使用されます (固着の問題を防ぐため)
3) ペイロードは、送信される特定のバイナリ データです。特定のデータは、それがリクエストであるかレスポンスであるか、および現在のタイプのさまざまな値に基づいて決定されます。
例えば、typeが0x3(create switch)で、現在のリクエストがリクエストである場合、ペイロードの内容は、 exchangeDeclareのパラメータ のシリアル化結果に相当します。
例えば、typeが0x3(create switch)で、現在のレスポンスがレスポンスである場合、ペイロードの内容は、 exchangeDeclareの戻り結果 をシリアル化した内容となります。
1.2.3. 具体例
栗は以下の通りです。
1) リクエスト
現時点では、exchangeDeclare メソッドをリモートで呼び出す必要があり、その後、コア API の次のパラメータを渡す必要があります。
共通の親クラスを使用して、各リクエストで共通のパラメータ（各リクエストで送信される）をラップします。
/**
* 这个类用来表示方法的公共参数/辅助字段
* 后续每个方法会有一些不同的参数，不同的参数再用不同的子类来表示
*/
public class BasicArguments implements Serializable {
// 表示一次 请求/响应 的身份标识，让请求和响应能对的上
protected String rid;
// 表示这次通信使用的 channel 的身份标识
protected String channelId;
public String getRid() {
return rid;
}
public void setRid(String rid) {
this.rid = rid;
}
public String getChannelId() {
return channelId;
}
public void setChannelId(String channelId) {
this.channelId = channelId;
}
}
ExchangeDeclareArguments クラスを作成し(このクラスは将来、リクエスト クラスのペイロードにシリアル化されます)、BasicArguments (パブリック パラメーター) を継承し、Serializable インターフェイスを実装します (シリアル化の問題を回避するため)。渡されるパラメーターは次のとおりです。
public class ExchangeDeclareArguments extends BasicArguments implements Serializable {
private String exchangeName;
private ExchangeType exchangeType;
private boolean durable;
private boolean autoDelete;
private Map<String, Object> arguments;
public String getExchangeName() {
return exchangeName;
}
public void setExchangeName(String exchangeName) {
this.exchangeName = exchangeName;
}
public ExchangeType getExchangeType() {
return exchangeType;
}
public void setExchangeType(ExchangeType exchangeType) {
this.exchangeType = exchangeType;
}
public boolean isDurable() {
return durable;
}
public void setDurable(boolean durable) {
this.durable = durable;
}
public boolean isAutoDelete() {
return autoDelete;
}
public void setAutoDelete(boolean autoDelete) {
this.autoDelete = autoDelete;
}
public Map<String, Object> getArguments() {
return arguments;
}
public void setArguments(Map<String, Object> arguments) {
this.arguments = arguments;
}
}
2) 応答
VirtualHost の現在のコア API の戻り値はブール型であるため、パブリック クラスを使用して応答をカプセル化します(このクラスは将来、応答クラスのペイロード パラメーターにシリアル化されます)
public class BasicReturns implements Serializable {
//用来标识唯一的请求和响应
protected String rid;
//标识一个 channel
protected String channelId;
//标识当前这个远程调用方法的返回值
protected boolean ok;
public String getRid() {
return rid;
}
public void setRid(String rid) {
this.rid = rid;
}
public String getChannelId() {
return channelId;
}
public void setChannelId(String channelId) {
this.channelId = channelId;
}
public boolean isOk() {
return ok;
}
public void setOk(boolean ok) {
this.ok = ok;
}
}
追伸: 他のコア API カスタム アプリケーション層プロトコルにも同じことが当てはまります
1.2.4. 特製栗
0xa はメッセージを購読します。このコア API は非常に特殊で、パラメーターにコールバック関数があります。
1) リクエスト
渡されるパラメータを表すBasicConsumeArguments クラス(現在のクラスは将来リクエスト クラスのペイロードにシリアル化されます) を 作成します。Consumer コールバックは、送信されるリクエストでこのパラメータを運ぶ必要がないことに注意してください (実際には持ち運べません）
Ps: サーバーはこのサブスクリプション メッセージ リクエストを受信した後、キュー内のメッセージを直接フェッチし、クライアントに直接フィードバックするため、クライアントはメッセージを取得した後にのみコールバック メソッドを実行します (このメッセージをどうするか) 。
これは、新聞を購読するために店に行ったときに、新聞を受け取った後、店はあなたがその新聞をどうしたいのかを知らないのと同じです~~
public class BasicConsumeArguments extends BasicArguments implements Serializable {
private String consumerTag;
private String queueName;
private boolean autoAck;
//注意！ 这里的 Consumer 回调函数不用发送给服务器(实际上也发送不了)
//因为服务器收到这个订阅消息请求之后，就直接取拿队列中的消息,接着直接反馈给客户端
//客户端拿到消息后才执行回调方法
//这就类似于你去商店订阅报纸，接着拿到报纸以后，你要对这个报纸做什么，商店是不知道的~~
public String getConsumerTag() {
return consumerTag;
}
public void setConsumerTag(String consumerTag) {
this.consumerTag = consumerTag;
}
public String getQueueName() {
return queueName;
}
public void setQueueName(String queueName) {
this.queueName = queueName;
}
public boolean isAutoAck() {
return autoAck;
}
public void setAutoAck(boolean autoAck) {
this.autoAck = autoAck;
}
}
2) 応答
レスポンスを記述するために、SubScribeReturns クラス(このクラスは将来、レスポンス クラスのペイロード パラメータにシリアル化されます) を作成します。このレスポンスには、 BasicReturns (返されたパブリック レスポンス パラメータ) だけでなく、メッセージのパラメータも含める必要があります。コールバックは次のようになります。
public class SubScribeReturns extends BasicReturns implements Serializable {
private String consumerTag;
private BasicProperties basicProperties;
private byte[] body;
public String getConsumerTag() {
return consumerTag;
}
public void setConsumerTag(String consumerTag) {
this.consumerTag = consumerTag;
}
public BasicProperties getBasicProperties() {
return basicProperties;
}
public void setBasicProperties(BasicProperties basicProperties) {
this.basicProperties = basicProperties;
}
public byte[] getBody() {
return body;
}
public void setBody(byte[] body) {
this.body = body;
}
}
1.3. BrokerServer の実装
ここでの記述方法は、リクエストに基づいてレスポンスを計算する方法が異なることを除いて、以前に書いた TCP エコー サーバーと非常によく似ています。
1.3.1. 性質と構造
private ServerSocket serverSocket = null;
//当前考虑一个 BrokerServer 上只有一个 虚拟主机
private VirtualHost virtualHost = new VirtualHost("default");
//使用 哈希表 来标识当前所有会话(哪个客户端正在和服务器进行通信)
//key 是 channelId, value 为对应的 Socket 对象
private ConcurrentHashMap<String, Socket> sessions = new ConcurrentHashMap<>();
//用线程池来处理多个客户端请求
private ExecutorService executorService = null;
//引入一个 Boolean 变量控制服务器是否继续运行
private volatile boolean runnable = true;
public BrokerServer(int port) throws IOException {
serverSocket = new ServerSocket(port);
}
1.3.2. BrokerServer の起動
public void start() throws IOException {
System.out.println("[BrokerServer] 启动！");
executorService = Executors.newCachedThreadPool();
while(runnable) {
Socket clientSocket = serverSocket.accept();
//处理连接的逻辑给线程池
executorService.submit(() -> {
processConnection(clientSocket);
});
}
}
1.3.3. BrokerServer の停止
/**
* 停止服务器，一般是直接 kill 就可以了
* 此处这个单独的方法，主要是为了后续的单元测试
*/
public void stop() throws IOException {
runnable = false;
//放弃线程池中的任务，并销毁线程
executorService.shutdown();
serverSocket.close();
}
1.3.4. 各クライアント接続の処理
private void processConnection(Socket clientSocket) {
try (InputStream inputStream = clientSocket.getInputStream();
OutputStream outputStream = clientSocket.getOutputStream()) {
// 这里需要按照特定格式来读取并解析. 此时就需要用到 DataInputStream 和 DataOutputStream
try (DataInputStream dataInputStream = new DataInputStream(inputStream);
DataOutputStream dataOutputStream = new DataOutputStream(outputStream)) {
while (true) {
// 1. 读取请求并解析.
Request request = readRequest(dataInputStream);
// 2. 根据请求计算响应
Response response = process(request, clientSocket);
// 3. 把响应写回给客户端
writeResponse(dataOutputStream, response);
}
}
} catch (EOFException | SocketException e) {
// 对于这个代码, DataInputStream 如果读到 EOF , 就会抛出一个 EOFException 异常.
// 需要借助这个异常来结束循环
System.out.println("[BrokerServer] connection 关闭! 客户端的地址: " + clientSocket.getInetAddress().toString()
+ ":" + clientSocket.getPort());
} catch (IOException | ClassNotFoundException | MqException e) {
System.out.println("[BrokerServer] connection 出现异常!");
e.printStackTrace();
} finally {
try {
// 当连接处理完了, 就需要记得关闭 socket
clientSocket.close();
// 一个 TCP 连接中, 可能包含多个 channel. 需要把当前这个 socket 对应的所有 channel 也顺便清理掉.
clearClosedSession(clientSocket);
} catch (IOException e) {
e.printStackTrace();
}
}
}1.3.5. 読み取りリクエストと書き込みレスポンス
private Request readRequest(DataInputStream dataInputStream) throws IOException {
Request request = new Request();
request.setType(dataInputStream.readInt());
request.setLength(dataInputStream.readInt());
byte[] body = new byte[request.getLength()];
int n = dataInputStream.read(body);
if(n != request.getLength()) {
throw new IOException("读出请求格式出错！");
}
request.setPayload(body);
return request;
}
private void writeResponse(DataOutputStream dataOutputStream, Response response) throws IOException {
dataOutputStream.write(response.getType());
dataOutputStream.write(response.getLength());
dataOutputStream.write(response.getPayload());
dataOutputStream.flush();
}
1.3.6. リクエストに基づいてレスポンスを計算する
ここでは、さまざまなタイプに基づいて VirtualHost のさまざまなコア API をリモートで呼び出す方法を示します (サブスクリプション メッセージ関数のコールバック関数に特に注意する必要があります)。
private Response process(Request request, Socket clientSocket) throws IOException, ClassNotFoundException, MqException {
//1.将 request 初步解析成 BasicArguments
BasicArguments basicArguments = (BasicArguments) BinaryTool.fromBytes(request.getPayload());
System.out.println("[Request] rid=" + basicArguments.getRid() + ", channelId=" + basicArguments.getChannelId() +
", type=" + request.getType() + ", length=" + request.getLength());
//2.根据 type 的值，进一步区分接下来要干什么
boolean ok = true;
if (request.getType() == 0x1) {
//创建 channel
sessions.put(basicArguments.getChannelId(), clientSocket);
System.out.println("[BrokerServer] 创建 channel 完成！channelId=" + basicArguments.getChannelId());
} else if(request.getType() == 0x2) {
//销毁 channel
sessions.remove(basicArguments.getChannelId());
System.out.println("[BrokerServer] 销毁 channel 完成！channelId=" + basicArguments.getChannelId());
} else if(request.getType() == 0x3) {
//创建交换机，此时 payLoad 就是 ExchangDeclareArguments 了
ExchangeDeclareArguments arguments = (ExchangeDeclareArguments) basicArguments;
ok = virtualHost.exchangeDeclare(arguments.getExchangeName(), arguments.getExchangeType(),
arguments.isDurable(), arguments.isAutoDelete(), arguments.getArguments());
} else if(request.getType() == 0x4) {
ExchangeDeleteArguments arguments = (ExchangeDeleteArguments) basicArguments;
ok = virtualHost.exchangeDelete(arguments.getExchangeName());
} else if(request.getType() == 0x5) {
QueueDeclareArguments arguments = (QueueDeclareArguments) basicArguments;
ok = virtualHost.queueDeclare(arguments.getQueueName(), arguments.isDurable(),
arguments.isExclusive(), arguments.isAutoDelete(), arguments.getArguments());
} else if(request.getType() == 0x6) {
QueueDeleteArguments arguments = (QueueDeleteArguments) basicArguments;
ok = virtualHost.queueDelete(arguments.getQueueName());
} else if(request.getType() == 0x7) {
QueueBindArguments arguments = (QueueBindArguments) basicArguments;
ok = virtualHost.queueBind(arguments.getQueueName(), arguments.getExchangeName(), arguments.getBindingKey());
} else if(request.getType() == 0x8) {
QueueUnBindArguments arguments = (QueueUnBindArguments) basicArguments;
ok = virtualHost.queueUnBind(arguments.getQueueName(), arguments.getExchangeName());
} else if(request.getType() == 0x9) {
BasicPublishArguments arguments = (BasicPublishArguments) basicArguments;
ok = virtualHost.basicPublish(arguments.getExchangeName(), arguments.getRoutingKey(), arguments.getBasicProperties(), arguments.getBody());
} else if(request.getType() == 0xa) {
BasicConsumeArguments arguments = (BasicConsumeArguments) basicArguments;
ok = virtualHost.basicConsume(arguments.getConsumerTag(), arguments.getQueueName(), arguments.isAutoAck(), new Consumer() {
//这个回调函数要做的就是，把服务器收到的消息可以直接推送回对应的消费者客户端
@Override
public void handlerDelivery(String consumerTag, BasicProperties basicProperties, byte[] body) throws MqException, IOException {
//首先需要知道收到的消息要发给哪个客户端
//此处 consumerTag 其实就是 channelId，根据 channelId 去 sessions 中查询，既可以得到对应的
//socket 对象了，从而往里面发送数据
//1.根据 channelId 找到 socket 对象
Socket clientSocket = sessions.get(consumerTag);
if(clientSocket == null || clientSocket.isClosed()) {
throw new MqException("[BrokerServer] 订阅消息的客户端已经关闭！");
}
//2.构造响应数据
SubScribeReturns subScribeReturns = new SubScribeReturns();
subScribeReturns.setChannelId(consumerTag);
subScribeReturns.setRid("");//由于这里只有响应，没有请求，不需要去对应，rid 暂时不需要
subScribeReturns.setOk(true);
subScribeReturns.setConsumerTag(consumerTag);
subScribeReturns.setBasicProperties(basicProperties);
subScribeReturns.setBody(body);
byte[] payload = BinaryTool.toBytes(subScribeReturns);
Response response = new Response();
// 0xc 表示服务器给消费者客户端推送的消息数据
response.setType(0xc);
response.setLength(payload.length);
response.setPayload(payload);
//3.把数据写回给客户端
// 注意！此处的 dataOutputStream 这个对象不能 close
// 如果把 dataOutputStream 关闭， 就会直接把 clientSocket 里的 outputStream 也关了
// 此时就无法继续往 socket 中写后续的数据了
DataOutputStream dataOutputStream = new DataOutputStream(clientSocket.getOutputStream());
writeResponse(dataOutputStream, response);
}
});
} else if(request.getType() == 0xb) {
//调用 basicAck 确认消息
BasicAckArguments arguments = (BasicAckArguments) basicArguments;
ok = virtualHost.basicAck(arguments.getQueueName(), arguments.getMessageId());
} else {
throw new MqException("[BrokerServer] 未知 type！type=" + request.getType());
}
//构造响应
BasicReturns basicReturns = new BasicReturns();
basicReturns.setRid(basicArguments.getRid());
basicReturns.setChannelId(basicArguments.getChannelId());
basicReturns.setOk(ok);
byte[] payload = BinaryTool.toBytes(basicReturns);
Response response = new Response();
response.setType(request.getType());
response.setLength(request.getLength());
response.setPayload(payload);
System.out.println("[Response] rid=" + basicReturns.getRid() + ", channelId=" + basicReturns.getChannelId()
+ ", type=" + response.getType() + ", length=" + response.getLength());
return response;
}
1.3.7. チャンネルをクリアする
マップ内の対応する (clientSocket) セッション情報をクリーンアップします。
private void clearClosedSession(Socket clientSocket) {
List<String> toDeleteChannelId = new ArrayList<>();
for(Map.Entry<String, Socket> entry : sessions.entrySet()) {
if(entry.getValue() == clientSocket) { //这里一个 key 可能对应多个相同的 Socket
//在集合类中不能一边用迭代器一边删除，会破坏迭代器结构的!
//sessions.remove(entry.getKey());
//因此这里先记录下 key
toDeleteChannelId.add(entry.getKey());
}
}
for(String channelId : toDeleteChannelId) {
sessions.remove(channelId);
}
System.out.println("[BrokerServer] 清理 session 完毕！channelId=" + toDeleteChannelId);
}
