色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

RocketMQ最佳實踐之坑

jf_ro2CN3Fa ? 來源:yes的練級攻略 ? 2023-06-02 14:13 ? 次閱讀

前不久踩了個坑,而這個坑跟 RocketMQ 推薦的一個最佳實踐有關。

看下我從官網(wǎng)的截圖,官方推薦一個應用盡可能只用一個 topic,然后用 tags 來標識子類型。

9711106c-0103-11ee-90ce-dac502259ad0.png

從訂單角度來看,可以用一個 Topic-Order,然后再用不同的 tag 來區(qū)分這是 3C 類的訂單,還是母嬰類的訂單等,然后下游應用根據(jù)不同的需求過濾不同的 tag。

這樣的實現(xiàn)方式從業(yè)務上來看關系更清晰(有點樹狀的感覺),但是在實踐上有點問題。

問題和起因

一般而言,生產(chǎn)上同一個服務至少會部署兩臺機器,不僅僅是為了負載均衡,也是為了系統(tǒng)的可靠性,當一臺機器意外掛了,另一臺可以扛起大旗。

我們在發(fā)服務的時候,都是分批發(fā)布。

這是為了驗證新功能的正確性,不讓其一次性影響所有實例,我們會先發(fā)布一批,然后觀察下日志,確保無誤后繼續(xù)發(fā)布后續(xù)幾臺機器。

而這個操作再結合 RocketMQ 一個 Topic 多 tag 就會出現(xiàn)訂閱消息不一致的情況,導致丟消息。

原理分析

我們借用官網(wǎng)的圖來分析一下。

一般我們都用集群模式,以下描述默認使用集群模式

從使用層來看,發(fā)送和消費消息給我們最直觀的感受如下:

生產(chǎn)者往一個 Topic 發(fā)送消息,消費者訂閱了這個 Topic 就能消費到這個消息。

974595bc-0103-11ee-90ce-dac502259ad0.png

而實際上在 RocketMQ 中有隊列的概念:

97759410-0103-11ee-90ce-dac502259ad0.png

也就是生產(chǎn)者往一個 Topic 發(fā)送消息時,消息會被分到不同的隊列中。

而屬于同一個消費組的消費者們會平分消費這些隊列,從上圖可以看到 Topic A 分了三個隊列,分別是 MessageQueue 0、1、2。

而消費組 ConsumerGroupA 中的 Consumer1 僅消費 MessageQueue0 和 MessageQueue1 這兩個隊列中的消息,而 Consumer2 僅消費 MessageQueue2。

這樣劃分后,Consumer1 是無法消費到 MessageQueue2 中的消息的。

看到可能有人會說,這跟 tag 有什么關系嗎?沒錯,問題就在這個分割跟 tag 沒關系!

在默認情況下生產(chǎn)者發(fā)送消息是以輪詢隊列的方式發(fā)送的。

比如現(xiàn)在 Producer A 要發(fā)送 TopicA-tag1、TopicA-tag2、TopicA-tag3 這三條數(shù)據(jù),輪詢發(fā)送后,MessageQueue 0、1、2 分別存儲了這 3 條消息。

97a02c48-0103-11ee-90ce-dac502259ad0.png

假設同樣訂閱了 TopicA,但是 Consumer 1訂閱的 tag 是 tag1和 tag3,而 Consumer 2 訂閱的是 tag1、tag2,那么問題就來了。

97c1257e-0103-11ee-90ce-dac502259ad0.png

按輪詢的順序 Consumer 1 要消費的 tag3 被投遞到 MessageQueue2 這個隊列中,而 Consumer 1 又無法消費 MessageQueue2 中的消息,Consumer 2 能消費 MessageQueue2 中的消息,但偏偏它又不要 tag3 的消息。這樣一來 tag3 的這條消息就丟了,問題就出現(xiàn)了。

所以,在實踐中,我們要求同一個消費組的消費者的訂閱關系要保持一致。

也就是 Conusmer1 和 Conusmer2 需要訂閱一樣的 Topic、一樣的 tag,這樣消息才不會丟失。

再回到問題

現(xiàn)在我們已經(jīng)知道訂閱關系一致的重要性,但是有時候不得已就會“明知故犯”。

假設我們訂單服務線上一共部署了 5 臺,這 5 臺機器屬于同一個消費組,因此它們負載均衡消費有關訂單的消息,如 Topic-Order。

這 5 臺機器部署的都是同一套代碼,它們都訂閱了 Topic-Order,且 tag 是 A、B、C 三個。

這次發(fā)版需要訂單服務新增消費 Topic-Order 下的 tag D 消息,由于分批部署,所以先部署了 1 臺機器觀察。

而此時線上就出現(xiàn)了訂閱關系不一致的情況!5臺機器,有 1 臺訂閱了 Topic-Order tag A、B、C、D,而其他 4 臺訂閱了 Topic-Order tag A、B、C。

這段時間內(nèi)就出現(xiàn)了上述所說的丟消息的情況,如果有 Topic-Order tagD 的消息產(chǎn)生,那么就有可能會丟了。

明知有錯,不想犯,卻犯了!

針對這個場景,我暫時沒啥思路,不知道業(yè)界是否有什么方式可以優(yōu)雅的處理這個問題?歡迎各位留言指導或探討!

然后留個坑,如果一臺機器訂閱的是 tagA||tagB,而另一臺訂閱的是 tagB||tagA,這樣算訂閱消息一致嗎?




審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    211

    文章

    28632

    瀏覽量

    208005
  • 過濾器
    +關注

    關注

    1

    文章

    432

    瀏覽量

    19685

原文標題:RocketMQ 最佳實踐之坑

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    兆芯最佳實踐應用場景解決方案發(fā)布

    《兆芯最佳實踐應用場景解決方案》現(xiàn)已正式發(fā)布,掃描下方二維碼或點擊閱讀原文即可獲取下載。
    的頭像 發(fā)表于 01-13 14:45 ?145次閱讀

    立訊精密入選2024可持續(xù)發(fā)展最佳實踐案例

    近日,由中國上市公司協(xié)會(以下簡稱中上協(xié))主辦的2024上市公司可持續(xù)發(fā)展大會在京召開。會上,中上協(xié)發(fā)布了2024上市公司可持續(xù)發(fā)展最佳及優(yōu)秀實踐案例。立訊精密憑借“立志高遠 訊航可持續(xù)高質量發(fā)展”的卓越實踐,從596篇投稿中脫
    的頭像 發(fā)表于 11-28 13:50 ?309次閱讀

    4G模組UDP應用的最佳實踐

    今天說的是4G模組UDP應用,展示最佳實踐,送你參考。
    的頭像 發(fā)表于 11-08 09:24 ?494次閱讀
    4G模組<b class='flag-5'>之</b>UDP應用的<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>!

    MES系統(tǒng)的最佳實踐案例

    效率、降低成本、保證產(chǎn)品質量。 MES系統(tǒng)的最佳實踐案例 引言 在當今競爭激烈的制造業(yè)環(huán)境中,企業(yè)必須不斷尋求創(chuàng)新和改進的方法來保持競爭力。MES系統(tǒng)作為一種關鍵的信息技術工具,已經(jīng)被廣泛應用于各種制造行業(yè),以實現(xiàn)生產(chǎn)過程的優(yōu)化和管理。本文將探討MES系統(tǒng)的
    的頭像 發(fā)表于 10-27 09:33 ?1365次閱讀

    愛芯元速榮膺最佳技術實踐應用獎

    愛芯元智車載事業(yè)部(品牌“愛芯元速”)憑借在車載芯片領域的創(chuàng)新技術研發(fā)實力以及在推動量產(chǎn)上車方面的卓越成績收獲本屆“金輯獎”的“2024最佳技術實踐應用獎”。
    的頭像 發(fā)表于 10-25 11:39 ?371次閱讀

    邊緣計算架構設計最佳實踐

    邊緣計算架構設計最佳實踐涉及多個方面,以下是一些關鍵要素和最佳實踐建議: 一、核心組件與架構設計 邊緣設備與網(wǎng)關 邊緣設備 :包括各種嵌入式設備、傳感器、智能手機、智能攝像頭等,負責采
    的頭像 發(fā)表于 10-24 14:17 ?523次閱讀

    云計算平臺的最佳實踐

    云計算平臺的最佳實踐涉及多個方面,以確保高效、安全、可擴展和成本優(yōu)化的云環(huán)境。以下是一些關鍵的最佳實踐: 一、云成本優(yōu)化 詳細分析云使用情況 :通過細致的監(jiān)控和分析,識別低ROI(投資
    的頭像 發(fā)表于 10-24 09:17 ?403次閱讀

    TMCS110x 布局挑戰(zhàn)和最佳實踐

    電子發(fā)燒友網(wǎng)站提供《TMCS110x 布局挑戰(zhàn)和最佳實踐.pdf》資料免費下載
    發(fā)表于 09-12 09:23 ?0次下載
    TMCS110x 布局挑戰(zhàn)和<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>

    衰減 AMC3301 系列輻射發(fā)射 EMI 的最佳實踐

    電子發(fā)燒友網(wǎng)站提供《衰減 AMC3301 系列輻射發(fā)射 EMI 的最佳實踐.pdf》資料免費下載
    發(fā)表于 09-11 09:59 ?0次下載
    衰減 AMC3301 系列輻射發(fā)射 EMI 的<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>

    毫米波雷達器件的放置和角度最佳實踐應用

    電子發(fā)燒友網(wǎng)站提供《毫米波雷達器件的放置和角度最佳實踐應用.pdf》資料免費下載
    發(fā)表于 09-09 09:57 ?2次下載
    毫米波雷達器件的放置和角度<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>應用

    電機驅動器電路板布局的最佳實踐

    電子發(fā)燒友網(wǎng)站提供《電機驅動器電路板布局的最佳實踐.pdf》資料免費下載
    發(fā)表于 09-05 11:33 ?17次下載
    電機驅動器電路板布局的<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>

    MSP430 FRAM技術–使用方法和最佳實踐

    電子發(fā)燒友網(wǎng)站提供《MSP430 FRAM技術–使用方法和最佳實踐.pdf》資料免費下載
    發(fā)表于 08-23 09:23 ?0次下載
    MSP430 FRAM技術–使用方法和<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>

    RTOS開發(fā)最佳實踐

    基于RTOS編寫應用程序時,有一些要注意事項。在本節(jié)中,您將學習RTOS開發(fā)最佳實踐,例如POSIX合規(guī)性、安全性和功能安全認證。
    的頭像 發(fā)表于 08-20 11:24 ?499次閱讀

    熱烈恭賀|開盛暉騰入圍APEC?ESCI最佳實踐獎候選

    喜訊!固德威智慧能源合作伙伴開盛暉騰成功入圍APEC能源智慧社區(qū)倡議最佳實踐獎候選名單。在智能電網(wǎng)類中,全國僅4個項目入圍! 04:3 APEC ESCI是于2010年由亞太經(jīng)濟合作組織
    的頭像 發(fā)表于 04-29 17:31 ?448次閱讀
    熱烈恭賀|開盛暉騰入圍APEC?ESCI<b class='flag-5'>最佳</b><b class='flag-5'>實踐</b>獎候選

    深度解析RocketMQ的消息存儲整體架構

    在Client和Server之間完成一次消息發(fā)送時,需要對發(fā)送的消息進行一個協(xié)議約定,因此就有必要自定義RocketMQ的消息協(xié)議。同時,為了高效地在網(wǎng)絡中傳輸消息和對收到的消息讀取,就需要對消息進行編解碼。
    的頭像 發(fā)表于 02-01 11:36 ?2347次閱讀
    深度解析<b class='flag-5'>RocketMQ</b>的消息存儲整體架構
    主站蜘蛛池模板: 亚洲中文字幕永久在线 | 久久99精品久久久久久园产越南 | 公交车被CAO到合不拢腿 | 亚洲 色 欧美 爱 视频 日韩 | 日本三区四区免费高清不卡 | 男子扒开美女尿口做羞羞的事 | 迈开腿让我看下你的小草莓声音 | 国产真实强被迫伦姧女在线观看 | 人人草影院 | 亚洲国产精品嫩草影院久久 | 免费毛片在线播放 | 久久无码AV亚洲精品色午夜 | 国产精品97久久久久久AV色戒 | 免费a视频在线观看 | good神马电影伦理午夜 | 第四色男人天堂 | 一本大道熟女人妻中文字幕在线 | 教室眠催白丝美女校花 | 久久视频这里只精品6国产 久久视频在线视频观品15 | 成人免费在线观看视频 | 好男人在线高清WWW免费观看 | 97人妻中文字幕免费视频 | 亚洲一区在线视频观看 | 久久青青草视频在线观 | 真人裸交有声性动态图 | 我的美女房东未删减版免费观看 | 67194线在线精品观看 | 麻豆无人区乱码 | 野花香在线观看免费观看大全动漫 | vr亚洲成年网址在线观看 | 国产日韩精品一区二区在线观看 | 四房色播手机版 | 揉抓捏打抽插射免费视频 | 乌克兰18性hd | 99久久综合国产精品免费 | 国产精品成人影院 | 99视频导航 | 日本高清免费看 | 日日噜噜噜夜夜爽爽狠狠图片 | 十八禁肉动漫无修在线播放 | 动漫H片在线播放免费高清 动漫AV纯肉无码AV电影网 |