消息中間件:四種投遞模式對比

2019-11-17     老男孩的成長之路

原文出自田守枝的技術博客:https://mp.weixin.qq.com/s?__biz=MzA5MDA5Njk0NQ==&mid=2456618900&idx=1&sn=ebbd4a2f3f8f42f71fa0925b70a9fb1e&utm_source=tuicool&utm_medium=referral

消息中間件( Message Oriented Middleware,簡稱MOM)在企業開發中變得越來越重要。本文介紹消息中間件中的四種消息投遞模型,主要是介紹模型的核心特性,以及不同模型之前的區別。這四種模型分別是:

  • PTP模型
  • Pub/Sub模型
  • Partition模型
  • Transfer模型

其中PTP模型和Pub/Sub模型在JMS規範中有定義,消息中間件ActiveMQ就實現了JMS規範。然而一些消息中間件,並沒有實現JMS規範,而是自己設計出了一套模型,例如Kafka和RocketMQ就採用了Partition模型。此外業界還有一些其他的消息投遞模型,例如Transfer模型,這是筆者自己起的名字。

1、PTP模型

Point-to-Point,點對點通信模型。PTP是基於隊列(Queue)的,一個隊列可以有多個生產者,和多個消費者。消息伺服器按照收到消息的先後順序,將消息放到隊列中。隊列中的每一條消息,只能由一個消費者進行消費,消費之後就會從隊列中移除。

需要注意的是,儘管這裡使用Queue的概念,但並不是先進入隊列消息,一定會被先消費。在存在多個下游Consumer情況下,一些消息中間件,例如ActiveMQ,為了提升消費能力,會將隊列中的消息分發到不同Consumer並行進行處理。這意味著消息發送的時候可能是有序的,但是在消費的時候,就變成無序了。為了保證消費的有序,一些MQ提供了"專有消費者」或者"排他消費者」的概念,在這種情況下,隊列中的消息僅允許一個消費者進行消費,如果存在多個消費者,那麼從中選擇一個。但是,這意味著在消息在處理中沒有了並行性。如果消息量很多的情況下,將會產生消息積壓。為了解決"專有消費者」的性能問題,一些消息中間件採用分區的概念來解決性能問題,我們將在後文進行介紹。

2、Pub/Sub模型

publish-and- subscribe, 即發布訂閱模型。在Pub/Sub模型中,生產者將消息發布到一個主題(Topic)中,訂閱了該Topic的所有下游消費者,都可以接收到這條消息。如下圖:

通常情況下,一個條消息只要被消費一次就行了,那麼什麼情況下需要所有的消費者都對這條消息進行消費呢?最典型的情況就是需要在內存中對數據進行緩存,並需要實時進行更新。例如,筆者做過一個違禁詞系統,對用戶輸入的評論內容進行違禁詞彙檢測。這個違禁詞系統,部署了在N台伺服器上,為了提升檢測性能,每台機器都會將違禁詞庫全量加載到內存中,詞庫的更新,是通過發送MQ消息來完成的。由於採用Pub/Sub模型,每台機器的consumer,都可以接收到這條消息,直接在內存中更新敏感詞庫即可。

3、Partition模型

為了解決在PTP模型下,有序消息需要通過"專有消費者」消費帶來的性能問題,一些消息中間件,如rocketmq,kafka採用了Partition模型,即分區模型,如下所示:

生產者發送消息到某個Topic中時,最終選擇其中一個Partition進行發送。你可以將Parition模型中的分區,理解為PTP模型的隊列,不同的是,PTP模型中的隊列存儲的是所有的消息,而每個Partition只會存儲部分數據。對於消息者,此時多了一個消費者組的概念,Paritition會在同一個消費者組下的消費者中進行分配,每個消費者只消費分配給自己的Paritition。上圖演示了不同的消費者可能會分配到不同數量的Paritition。Paritition模式巧妙的將PTP模型和Pub/Sub模型結合在了一起:

對於PTP模型:

一條消息只會由一個消費者進行消費,而Partition模型中每個分區最終也只會有一個消費者進行消費。對於通過"專有消費者"來保證全局消費有序的場景,在Partition模型中,只需保證創建的Topic只有一個Partition即可,這個Paritition最終也只會分配其中一個消費者。另外,在絕大部分場景下,我們沒有必要保證全局有序,例如一個訂單產生了3條消息,分別是訂單創建,訂單付款,訂單完成。消費時,要按照這個順序消費才能有意義。但是訂單之間是可以並行消費的,例如將訂單1產生的3條消息發送到Partiton 1,將訂單2產生的3條消息發送到Partition 2,如此便達到了不同訂單之間的並行消費。

對於Pub/Sub模型:

一條消息所有的下游消費者都可以進行消費。在Paritition模型中,只需要為每個消費者設置成不同的消費者組即可。然而,過多的消費者組,會給消息中間件運維帶來麻煩。所以一些消息中間件,結合了Partition模型和Pub/Sub模型。例如RocketMQ,支持為消費者組設置消費模式,如果是集群模式,就按照上述描述進行消費,如果是廣播模式,就按照Pub/Sub模型進行消費。當然,Partition模型也不全是優點,其最大的限制在於Partition數量是固定的(雖然可以調整),且只可以分配給其中一個消費者。當消費者的數量大於Partition數量時,這些多出來的消費者將無法消費到消息。一些消息中間件對此進行了優化,例如rocketmq,支持單個partition的並行消費。即在對單個消費者內,同時啟動多個線程,來消費這個Partition中的數據,當然前提是要求消息不是有序的,對於有序的消息,只能使用一個線程按順序消費這個Partition中的數據。

4、Transfer模型

Paritition模型中的消費者組概念很有用,同一個Topic下的消息可以由多個不同業務方進行消費,只要使用不同的消費者組即可,不同消費者組消費到的位置單獨記錄,互不影響。 但是,Paritition模型還是限制了消費者數量不能多於分區數。因此,又有了另外一種消費模型,筆者稱之為Transfer模型,如下圖所示:

生產者還是將消息發送到Topic中,針對一個Topic,可以創建多個通道,這裡稱之為channel。與分區不同的是,發送到Topic中的每條消息,都會轉發到每個channel,因此每個channel都有這個Topic的全量數據。當然,沒有必要把真的把消息體完整的拷貝一份到channel中,可以只記錄一下消息元數據,表示有一條放到這個channel中了。消費者在消費消息時,必須指定從哪個channel消費。多個消費者消費同一個channel時,每條消息只會有一個消費者消費達到,這一點與PTP模型類似。事實上,我們可以認為,消費了同一個channel的消費者,就自動組成了一個消費者組。但是,與Partition模型不同的是,這裡沒有分區的概念,因此消費者的數量可以是任意的。事實上,GO語言編寫的NSQ消息中間件,採用的就是這種模型。當然,這種模型與PTP一樣,也不能保證被消息有序,除非通過類似於」專用消費者」的概念。

文章來源: https://twgreatdaily.com/zh-cn/4ct5gG4BMH2_cNUgxWND.html