可觀測(cè)（Observability）作為現(xiàn)代運(yùn)維理念，相較于監(jiān)控，不僅僅是問題的發(fā)現(xiàn)，更加強(qiáng)調(diào)系統(tǒng)在運(yùn)行時(shí)應(yīng)具備全面的、深入的、可理解的狀態(tài)獲取能力。通過收集和分析系統(tǒng)的各種可觀測(cè)數(shù)據(jù)（涉及指標(biāo)、日志、Traces、事件、告警等數(shù)據(jù)），構(gòu)建一個(gè)全方位監(jiān)控與分析體系，讓運(yùn)維團(tuán)隊(duì)能夠在復(fù)雜多變的 IT 環(huán)境中實(shí)時(shí)了解系統(tǒng)內(nèi)部的健康狀況、性能表現(xiàn)以及故障原因。

嘉為藍(lán)鯨全棧智能觀測(cè)中心·鯨眼（以下簡(jiǎn)稱“全棧智能觀測(cè)中心”）作為嘉為傾力打造的一款全棧可觀測(cè)產(chǎn)品，經(jīng)過持續(xù)的沉淀和迭代，目前已經(jīng)實(shí)現(xiàn)了業(yè)務(wù)全棧系統(tǒng)資源監(jiān)控、K8s容器監(jiān)控、云平臺(tái)監(jiān)控、硬件設(shè)備監(jiān)控、網(wǎng)站服務(wù)撥測(cè)、日志統(tǒng)一管理、應(yīng)用性能觀測(cè)、業(yè)務(wù)場(chǎng)景監(jiān)控、告警閉環(huán)管理等多個(gè)領(lǐng)域的可觀測(cè)。

01. 產(chǎn)品場(chǎng)景介紹

1）系統(tǒng)監(jiān)控

基于CMDB的業(yè)務(wù)和業(yè)務(wù)資源（主機(jī)、數(shù)據(jù)庫(kù)、中間件等業(yè)務(wù)資源件）的全棧系統(tǒng)資源監(jiān)控，一眼看全。

從業(yè)務(wù)的視角入口，呈現(xiàn)業(yè)務(wù)資源拓?fù)洌С滞負(fù)涔?jié)點(diǎn)下鉆指標(biāo)、告警詳情視圖。同時(shí)支持從資源的視角切入，直接按資源類型展示所有資源的監(jiān)控情況。

2）容器監(jiān)控

基于容器形態(tài)的資源探針，實(shí)現(xiàn)容器及容器內(nèi)運(yùn)行組件資源的指標(biāo)和日志的統(tǒng)一監(jiān)控，云原生必備監(jiān)控利器。

① 容器指標(biāo)監(jiān)控

② 容器日志監(jiān)控

③ 云監(jiān)控

云資源視角的跨云平臺(tái)監(jiān)控，實(shí)現(xiàn)私有云、公有云的統(tǒng)一監(jiān)控告警管理；云上云下資源一體化監(jiān)控。

支持VMware、FusionCompute、云宏、阿里云、騰訊云等多種云平臺(tái)開箱即用；支持單云視角和跨云視角兩種資源展示模式；針對(duì)私有云支持自動(dòng)發(fā)現(xiàn)資源實(shí)例的關(guān)聯(lián)拓?fù)洌o助問題排錯(cuò)定位。

④ 硬件監(jiān)控

通過標(biāo)準(zhǔn)協(xié)議SNMP、IPMI、Syslog、Trap實(shí)現(xiàn)硬件設(shè)備的指標(biāo)、日志、告警的統(tǒng)一監(jiān)控。

⑤ 硬件指標(biāo)監(jiān)控

⑥ 硬件日志監(jiān)控

⑦ 網(wǎng)絡(luò)拓?fù)涔芾恚?/strong>支持用戶自定義網(wǎng)絡(luò)拓?fù)洌⒔Y(jié)合拓?fù)渥詣?dòng)發(fā)現(xiàn)能力，自動(dòng)輔助繪制網(wǎng)絡(luò)拓?fù)鋱D，掌握企業(yè)全局網(wǎng)絡(luò)概況。

5）網(wǎng)站撥測(cè)

基于業(yè)務(wù)的視角，通過遠(yuǎn)程訪問協(xié)議HTTP(s)、TCP、UDP、ICMP（Ping）對(duì)應(yīng)用服務(wù)和網(wǎng)站進(jìn)行黑盒監(jiān)控，實(shí)現(xiàn)業(yè)務(wù)最基礎(chǔ)的存活監(jiān)測(cè)。

6）日志統(tǒng)一管理

針對(duì)日志數(shù)據(jù)的統(tǒng)一接入、統(tǒng)一配置策略、統(tǒng)一查看檢索的統(tǒng)一日志管理，打通運(yùn)維排障“最后一公里”。

支持主機(jī)操作系統(tǒng)、容器環(huán)境下的日志采集，內(nèi)置多種日志采集模板；存量日志支持通過ES、Kafka的方式接入支持kafka接入，進(jìn)行統(tǒng)一接入和管理。

① 支持日志指標(biāo)和關(guān)鍵字監(jiān)控，并支持聚類智能指標(biāo)監(jiān)控。

② 日志檢索，支持AI算法智能聚類、聯(lián)合等檢索模式，并支持檢索脫敏。

7）APM

分布式服務(wù)調(diào)用鏈路監(jiān)控，自動(dòng)生成服務(wù)調(diào)用拓?fù)洌瑥膽?yīng)用、服務(wù)、接口、調(diào)用 4個(gè)層次層層深入，監(jiān)控應(yīng)用的健康狀態(tài)和調(diào)用性能；并支持基礎(chǔ)資源監(jiān)控進(jìn)行聯(lián)動(dòng)和下鉆分析，輔助問題根因分析，提升問題定位效率。

支持應(yīng)用服務(wù)調(diào)用視角、應(yīng)用資源關(guān)聯(lián)視角、服務(wù)分析視角、接口分析視角、Trace調(diào)用鏈路視角多視角分析查看和追蹤問題。

8）業(yè)務(wù)監(jiān)控

以業(yè)務(wù)場(chǎng)景作為切入口，串聯(lián)跨應(yīng)用的系統(tǒng)調(diào)用，打通關(guān)聯(lián)應(yīng)用內(nèi)服務(wù)的調(diào)用關(guān)系，追蹤每一次活動(dòng)軌跡。

9）統(tǒng)一告警

面向企業(yè)ECC、監(jiān)控組、運(yùn)維人員等，基于告警事件的生命周期，實(shí)現(xiàn)告警管理的閉環(huán)，提升團(tuán)隊(duì)效率，保障業(yè)務(wù)穩(wěn)定。

提供一站式告警處置平臺(tái)：包含告警事件統(tǒng)一接入、告警豐富、告警壓縮（去重、合并、抑制和屏蔽）、告警處理（自愈和派單、通知）、告警關(guān)閉的閉環(huán)管理，以及告警事件的統(tǒng)一查詢、報(bào)表統(tǒng)計(jì)、關(guān)聯(lián)分析，輔助問題定位。

02. 產(chǎn)品能力介紹

為了實(shí)現(xiàn)上述各種觀測(cè)場(chǎng)景的落地，產(chǎn)品設(shè)計(jì)上結(jié)合PaaS+SaaS的理念，抽象各個(gè)場(chǎng)景的公共能力，融合成一套底層能力框架，并且能夠和企業(yè)內(nèi)的運(yùn)維體系工具聯(lián)動(dòng)集成，支撐上層的場(chǎng)景擴(kuò)展，以適應(yīng)企業(yè)不斷變化的可觀測(cè)場(chǎng)景和管理訴求。圖中由下而上，依次是監(jiān)控對(duì)象、數(shù)據(jù)集成、數(shù)據(jù)中臺(tái)、能力中心、觀測(cè)場(chǎng)景五層以及外部集成模塊。

• 監(jiān)控對(duì)象：按照業(yè)務(wù)系統(tǒng)分層邏輯，劃分歸納企業(yè)內(nèi)需要監(jiān)控對(duì)象，分別有數(shù)據(jù)中心的機(jī)房機(jī)柜動(dòng)環(huán)對(duì)象，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全等硬件設(shè)備，虛擬化、云、OS、容器等系統(tǒng)資源，數(shù)據(jù)庫(kù)、中間件等通用基礎(chǔ)組件，業(yè)務(wù)、應(yīng)用場(chǎng)景、服務(wù)等業(yè)務(wù)應(yīng)用。
• 數(shù)據(jù)集成：基于Agent、Plugin、SNMP、Script、JMX、JDBC/ODBC、OT協(xié)議、SDK探針、撥測(cè)、數(shù)據(jù)上報(bào)管道等多種數(shù)據(jù)接入的渠道，實(shí)現(xiàn)性能指標(biāo)數(shù)據(jù)、日志數(shù)據(jù)、Trace鏈路數(shù)據(jù)、事件數(shù)據(jù)、告警數(shù)據(jù)的集中接入。
• 數(shù)據(jù)中臺(tái)：集中提供數(shù)據(jù)清洗、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢、數(shù)據(jù)計(jì)算能力。
• 能力中心：按數(shù)據(jù)類型提供不同的數(shù)據(jù)處理能力。例如指標(biāo)數(shù)據(jù)的檢測(cè)、預(yù)測(cè)、關(guān)聯(lián)、檢索能力；日志數(shù)據(jù)的解析、關(guān)鍵字、聚類、檢索能力；Trace數(shù)據(jù)的鏈路、拓?fù)洹㈥P(guān)系、分析能力；告警數(shù)據(jù)的去重、收斂、關(guān)聯(lián)、根因分析能力；以及面向用戶的儀表盤、報(bào)表、數(shù)據(jù)檢索的視圖能力。
• 觀測(cè)場(chǎng)景：按照可觀測(cè)領(lǐng)域劃分的監(jiān)控中心、日志中心、應(yīng)用觀測(cè)中心、業(yè)務(wù)監(jiān)控、告警中心五大核心場(chǎng)景，基于這些通用場(chǎng)景之上的數(shù)據(jù)聯(lián)動(dòng)分析場(chǎng)景，以及用戶基于觀測(cè)能力自行構(gòu)造的場(chǎng)景。
• 外部集成：可以兩部分考慮：一是從外部系統(tǒng)采集數(shù)據(jù)，例如對(duì)接第三方的監(jiān)控、告警、日志系統(tǒng)獲取對(duì)應(yīng)的數(shù)據(jù)進(jìn)行集中管理；二是對(duì)接外部的系統(tǒng)進(jìn)行聯(lián)動(dòng)管理，例如對(duì)接外部CMDB進(jìn)行監(jiān)控對(duì)象管理，對(duì)接外部的自動(dòng)化系統(tǒng)和工單系統(tǒng)進(jìn)行告警處置等。

基于上述功能架構(gòu)規(guī)劃設(shè)計(jì)，本文將從對(duì)象和指標(biāo)管理、插件集成管理、策略配置管理、告警視圖管理、場(chǎng)景視圖管理5個(gè)基礎(chǔ)能力層面介紹當(dāng)前全棧智能觀測(cè)中心的功能。

1）對(duì)象和指標(biāo)管理

① 對(duì)象模型

引入監(jiān)控對(duì)象模型作為指標(biāo)管理的載體，連接對(duì)象和指標(biāo)。對(duì)于監(jiān)控對(duì)象模型設(shè)計(jì)如下圖：

② 承載對(duì)象模型的分層體系

利用監(jiān)控對(duì)象模型的樹形分層設(shè)計(jì)，對(duì)應(yīng)運(yùn)維對(duì)象的分層體系，實(shí)現(xiàn)對(duì)象模型的建模和分層設(shè)計(jì)。例如對(duì)于組件服務(wù)層下的數(shù)據(jù)庫(kù)，我們可以抽象出 MySQL、MSSQL、Oracle 等一系列監(jiān)控對(duì)象，從而構(gòu)建3層乃至4層的對(duì)象模型設(shè)計(jì)，靈活設(shè)配企業(yè)內(nèi)的分層管理訴求。

③ 聯(lián)動(dòng) CMDB，關(guān)聯(lián)資源實(shí)例

監(jiān)控對(duì)象模型通過與 CMDB 模型關(guān)聯(lián)，將 CMDB 模型下的資源實(shí)例，納管為監(jiān)控對(duì)象模型實(shí)例，實(shí)現(xiàn)監(jiān)控對(duì)象模型與資源實(shí)例的關(guān)聯(lián)。

④ 關(guān)聯(lián)插件采集，落地指標(biāo)體系

監(jiān)控對(duì)象模型通過關(guān)聯(lián)插件或指標(biāo)上報(bào)任務(wù)等方式關(guān)聯(lián)指標(biāo)，并以此作為指標(biāo)數(shù)據(jù)的獲取方式，確保這批指標(biāo)都是真實(shí)可采集、可獲取、可度量的指標(biāo)，從而建設(shè)屬于該對(duì)象的指標(biāo)體系。

⑤ 指標(biāo)管理

基于對(duì)象進(jìn)行指標(biāo)管理，支持指標(biāo)的分類、名稱、描述、單位、等級(jí)、數(shù)據(jù)類型的管理，支持枚舉類型的指標(biāo)值映射管理，實(shí)現(xiàn)狀態(tài)指標(biāo)翻譯展示。

支持衍生指標(biāo)管理，基于插件原生指標(biāo)計(jì)算定義新的衍生指標(biāo)，指標(biāo)計(jì)算能力支持單指標(biāo)函數(shù)計(jì)算、多指標(biāo)四則運(yùn)算、復(fù)雜規(guī)則的PromQL計(jì)算，靈活適配各種衍生計(jì)算指標(biāo)的應(yīng)用場(chǎng)景。

⑥ 動(dòng)態(tài)分組

基于屬性條件對(duì)監(jiān)控對(duì)象進(jìn)行分組，具備動(dòng)態(tài)更新的特性，可實(shí)現(xiàn)監(jiān)控目標(biāo)根據(jù)CMDB的實(shí)例變化自動(dòng)應(yīng)用或者取消監(jiān)控。

2）插件集成管理

通過插件、協(xié)議、SDK等多種數(shù)據(jù)接入的方式，支持企業(yè)全棧觀測(cè)數(shù)據(jù)（指標(biāo)、日志、Traces、告警）接入。

① 指標(biāo)接入

除內(nèi)置的操作系統(tǒng)、云平臺(tái)、K8s容器、協(xié)議撥測(cè)等指標(biāo)采集能力之外，還支持多種自定義接入的方案，并且均支持產(chǎn)品頁(yè)面直接進(jìn)行插件制作和調(diào)試。

• 自定義插件進(jìn)行指標(biāo)接入：支持多種類型、協(xié)議的插件在線制作，包括Script、SQL（Oracle/MySQL/DB2） 、Exporter、DataDog、JMX、BK-Pull、SNMP類型。

• 自定義指標(biāo)接入：支持HTTP接口/bkmonitorbeat命令行。

• K8s指標(biāo)自定義接入：支持serviceMonitor（推薦）和podMonitor的方式進(jìn)行自定義接入。

• 第三方監(jiān)控指標(biāo)接入：通過監(jiān)控源插件實(shí)現(xiàn)數(shù)據(jù)對(duì)接；內(nèi)置Kafka監(jiān)控源插件。

② 日志接入

支持主機(jī)操作系統(tǒng)、容器環(huán)境下的日志采集，內(nèi)置多種日志采集模板；存量日志支持通過ES、Kafka的方式接入支持Kafka接入。

③ Trace接入

支持Skywalking和OT協(xié)議探針接入。

④ 告警接入

默認(rèn)支持RestAPI推送接入，支持頁(yè)面編寫告警源插件的方式接入，插件支持推送和拉取兩種模式，內(nèi)置常見監(jiān)控系統(tǒng)接入插件。

3）策略配置管理

監(jiān)控策略：支持設(shè)置策略的基礎(chǔ)信息、監(jiān)控目標(biāo)、檢測(cè)配置、告警配置4種配置，如下：

• 監(jiān)控目標(biāo)：支持多種選擇模式，基于實(shí)例下發(fā)的列表模式，基于CMDB實(shí)例的拓?fù)溥x擇模式，基于CMDB拓?fù)涔?jié)點(diǎn)動(dòng)態(tài)下發(fā)監(jiān)控策略的模式，基于動(dòng)態(tài)分組動(dòng)態(tài)下發(fā)監(jiān)控策略的模式。

• 檢測(cè)規(guī)則：支持8種異常檢測(cè)算法，支持異常防抖收斂，支持無數(shù)據(jù)異常檢測(cè)和異常恢復(fù)檢測(cè)，滿足企業(yè)各種場(chǎng)景下的監(jiān)控需求。

• 告警配置：支持告警分派、轉(zhuǎn)工單、自愈等處置方案設(shè)置，并支持生效時(shí)間、通知模板、通知頻率、通知方式等設(shè)置。詳細(xì)的告警處置配置后續(xù)將在告警管理功能文章中再進(jìn)行具體介紹。

4）告警視圖管理

實(shí)時(shí)刷新的活動(dòng)告警列表，支持自定義展示字段和多種篩選條件，并支持告警實(shí)時(shí)檢索和自定義告警視圖，滿足ECC、管理員等多種角色的查看訴求。

分析視角的告警詳情，支持詳情、指標(biāo)、關(guān)聯(lián)告警、拓?fù)潢P(guān)聯(lián)、流轉(zhuǎn)記錄統(tǒng)一查看，一站式告警分析。

基于對(duì)象/業(yè)務(wù)的告警分類統(tǒng)計(jì)分析，并內(nèi)置提供常用的告警統(tǒng)計(jì)報(bào)表，跟蹤企業(yè)告警治理效果。

詳細(xì)的告警全生命周期閉環(huán)管理后續(xù)將在專門的專題文章中進(jìn)行具體介紹。

5）場(chǎng)景視圖管理

除了本文開頭說到的內(nèi)置觀測(cè)場(chǎng)景，還支持自定義場(chǎng)景，可基于監(jiān)控對(duì)象模型管理，可自行擴(kuò)展每種對(duì)象的監(jiān)控場(chǎng)景視圖，滿足企業(yè)持續(xù)發(fā)展的訴求。

數(shù)據(jù)檢索，支持指標(biāo)、日志、Trace檢索，支撐問題排錯(cuò)追蹤，探索挖掘數(shù)據(jù)價(jià)值。

集成Grafana儀表盤，支持按照用戶個(gè)人喜好，定制自己專屬的指標(biāo)、日志儀表盤。

基于上述介紹的對(duì)象、采集、策略、告警、視圖5大基礎(chǔ)能力模塊，便可以自由構(gòu)建企業(yè)中所需的觀測(cè)場(chǎng)景。接下來我們將基于觀測(cè)場(chǎng)景視角，詳細(xì)介紹告警全生命周期管理、基礎(chǔ)組件監(jiān)控、容器監(jiān)控、云平臺(tái)監(jiān)控、硬件監(jiān)控、網(wǎng)站服務(wù)撥測(cè)、日志統(tǒng)一管理、調(diào)用鏈追蹤、業(yè)務(wù)監(jiān)控9大觀測(cè)場(chǎng)景，敬請(qǐng)期待。