實時監(jiān)控系統(tǒng) CAT 3.0 發(fā)布了,此版本帶來多語言客戶端及多項性能提升,更新如下:
消息采樣聚合
消息采樣聚合在客戶端應對大流量時起到了至關重要的作用,當采樣命中或者內存隊列已滿時都會經過采樣聚合上報。采樣聚合是對消息樹拆分歸類,利用本地內存做分類統(tǒng)計,將聚合之后的數(shù)據(jù)進行上報,減少客戶端的消息量以及降低網(wǎng)絡開銷。
通信協(xié)議優(yōu)化
CAT 客戶端與服務端通信協(xié)議由自定義文本協(xié)議升級為自定義二進制協(xié)議,在大規(guī)模數(shù)據(jù)實時處理場景下性能提升顯著。目前服務端同時支持兩種版本的通信協(xié)議,向下兼容舊版客戶端
測試環(huán)境:CentOS 6.5,4C8G 虛擬機
測試結果:新版相比舊版,序列化耗時降低約 3 倍
消息文件存儲
新版消息文件存儲進行了重新設計,解決舊版本的文件存儲索引、數(shù)據(jù)文件節(jié)點過多以及隨機 IO 惡化的問題。
新版消息文件存儲為了同時兼顧讀寫性能,引入了二級索引存儲方案,對同一個應用的 IP 節(jié)點進行合并,并且保證一定的順序存儲。下圖是索引結構的最小單元,每個索引文件由若干個最小單元組成。每個單元分為 4 * 1024 個桶,第一個桶作為我們的一級索引 Header,存儲 IP、消息序列號與分桶的映射信息。剩余 4 * 1024 - 1 個桶作為二級索引,存儲消息的地址。
新版消息文件存儲文件節(jié)點數(shù)與應用數(shù)量成正比,有效減少隨機 IO,消息實時存儲的性能提升顯著。以下為美團點評內部 CAT 線上環(huán)境單機消息存儲的數(shù)據(jù)對比:
詳情見發(fā)布公告。
CAT(Central Application Tracking),是美團點評基于 Java 開發(fā)的一套開源的分布式實時監(jiān)控系統(tǒng)。美團點評基礎架構部希望在基礎存儲、高性能通信、大規(guī)模在線訪問、服務治理、實時監(jiān)控、容器化及集群智能調度等領域提供業(yè)界領先的、統(tǒng)一的解決方案,CAT 目前在美團點評的產品定位是應用層的統(tǒng)一監(jiān)控組件,在中間件(RPC、數(shù)據(jù)庫、緩存、MQ 等)框架中得到廣泛應用,為各業(yè)務線提供系統(tǒng)的性能指標、健康狀況、實時告警等服務。
來源:機房環(huán)境監(jiān)控 http://m.u88-cn-zhifuxiaoxiangmu.cn/ 本文采集于網(wǎng)絡,如有問題有聯(lián)系刪除
專線:劉剛 13911133352
E-mail:[email protected]
北京金恒智能系統(tǒng)工程技術有限責任公司 版權所有 Copyright 2007-2020 by Create-china.com.cn Inc. All rights reserved.
法律聲明:未經許可,任何模仿本站模板、轉載本站內容等行為者,本站保留追究其法律責任的權利!
電話:86+10-62104277/2248/4249 傳真:86+10-62104193-819 京ICP備10010038號-2網(wǎng)站XML
智慧機房
在線體驗