小米降噪藍牙耳機Necklace分享：聽一首歌 讀懂一個故事
在今天下午的小米Civi 2新品發(fā)布會上，小米還帶來了一款新的降噪藍牙耳機Necklace，我們也在發(fā)布結束的第一時間給大家?guī)磉@款耳機的簡單分享。現(xiàn)在大家能見到最多的藍牙耳機
如果企業(yè)提供 IT 在線服務，那么可觀測性能力是必不可少的。“可觀測性” 這個詞近來也越發(fā)火爆，不懂 “可觀測性” 都不好意思出門了。但是可觀測性能力的構建卻著實不易，每個企業(yè)都會用到一堆技術棧來組裝建設。比如數(shù)據(jù)收集，可能來自某個 exporter，可能來自 telegraf，可能來自 OTEL，可能來自某個日志文件，可能來自 statsd，收集到數(shù)據(jù)之后還需要做各種過濾、轉換、聚合、采樣等操作，煩不勝煩，今天我們就給大家介紹一款開源的數(shù)據(jù)收集+路由器工具：Vector，解除你的上述煩惱。
Vector 通常用作 logstash 的替代品，logstash 屬于 ELK 生態(tài)，使用廣泛，但是性能不太好。Vector 使用 Rust 編寫，聲稱比同類方案快 10 倍。Vector 來自 Datadog，如果你了解監(jiān)控、可觀測性，大概率知道 Datadog，作為行業(yè)老大哥，其他小弟拍馬難及。Datadog 在 2021 年左右收購了 Vector，現(xiàn)在 Vector 已經(jīng)開源，地址是：
- 主站：https://vector.dev/
- 倉庫：https://github.com/vectordotdev/vector
Vector 不止是收集、路由日志數(shù)據(jù)，也可以路由指標數(shù)據(jù)，甚至可以從日志中提取指標，功能強大。下面是 Vector 的架構圖：
圖片
看起來和其他同類產(chǎn)品是類似的，核心就是 pipeline 的處理，有 Source 端做采集，有中間的 Transform 環(huán)節(jié)做數(shù)據(jù)加工處理，有 Sink 端做數(shù)據(jù)轉發(fā)。魔鬼在細節(jié)，Vector 有如下一些特點，讓它顯得卓爾不群：
Vector 的安裝比較簡單，一條命令即可搞定，其他安裝方式可以參考其 官方文檔。
curl --proto '=https' --tlsv1.2 -sSf https://sh.vector.dev | bashVector 的配置文件可以是 yaml、json、toml 格式，下面是一個 toml 的例子，其作用是讀取 /var/log/system.log 日志文件，然后把 syslog 格式的日志轉換成 json 格式，最后輸出到標準輸出：
[sources.syslog_demo]type = "file"include = ["/var/log/system.log"]data_dir = "/Users/ulric/works/vector-test"[transforms.remap_syslog]inputs = [ "syslog_demo"]type = "remap"source = ''' structured = parse_syslog!(.message) . = merge(., structured)'''[sinks.emit_syslog]inputs = ["remap_syslog"]type = "console"encoding.codec = "json"首先，[sources.syslog_demo] 定義了一個 source，取名為 syslog_demo，這個 source 的類型是 file，表示從文件中讀取數(shù)據(jù)，文件路徑是 /var/log/system.log，data_dir 是存儲 checkpoint 數(shù)據(jù)不用關心，只要給一個可寫的目錄就行（Vector 自用）。然后定義了一個 transform，名字為 remap_syslog，指定這個 transform 的數(shù)據(jù)來源（即上游）是 syslog_demo，其類型是 remap，remap 是 Vector 里非常重要的一個 transform，可以做各類數(shù)據(jù)轉換，在 source 字段里定義了一段代碼，其工作邏輯是：
[sinks.emit_syslog] 定義了一個 sink，名字是 emit_syslog，通過 inputs 指明了上游數(shù)據(jù)來自 remap_syslog 這個 transform，通過 type 指明要把數(shù)據(jù)輸出給 console，即控制臺，然后通過 encoding.codec 指定輸出的數(shù)據(jù)格式是 json。然后通過下面的命令啟動 Vector：
vector -c vector.toml然后，你就會看到一堆的日志輸出（當然，前提是你的機器上有 system.log 這個文件，我是 macbook，所以用的這個文件測試的），樣例如下：
ulric@ulric-flashcat vector-test % vector -c vector.toml...{"appname":"syslogd","file":"/var/log/system.log","host":"ulric-flashcat.local","hostname":"ulric-flashcat","message":"ASL Sender Statistics","procid":332,"source_type":"file","timestamp":"2023-09-27T07:31:22Z"}如上，就說明正常采集到了數(shù)據(jù)，而且轉換成了 json 并打印到了控制臺，實驗成功。當然，打印到控制臺只是個測試，Vector 可以把數(shù)據(jù)推給各類后端，典型的比如 ElasticSearch、S3、ClickHouse、Kafka 等。
Vector 可以部署為兩個角色，既可以作為數(shù)據(jù)采集的 agent，也可以作為數(shù)據(jù)聚合、路由的 aggregator，架構示例如下：
圖片
當 Vector 作為 agent 的時候，又有兩種使用模式：Daemon 和 Sidecar。Daemon 模式旨在收集單個主機上的所有數(shù)據(jù)，這是數(shù)據(jù)收集的推薦方式，因為它最有效地利用主機資源。比如把 Vector 部署為 DaemonSet，收集這個機器上的所有容器中應用的日志，容器中的應用的日志推薦使用 stdout 方式打印，符合云原生 12 條要素。架構圖如下：
圖片
當然，也可以使用 Sidecar 模式部署，這樣占用的資源更多（畢竟，每個 Pod 里都要塞一個 Vector 容器），但是更靈活，服務所有者可以隨意搞自己的日志收集方案，不用依賴統(tǒng)一的日志收集方案。架構圖如下：
圖片
夜鶯社區(qū)里已經(jīng)有很多小伙伴從 logstash 遷移到了 Vector，并普遍表示 Vector YYDS，如果你還沒聽過 Vector，趕緊去試試吧。其他的我也不啰嗦，請各位移步 Vector 官方文檔，本文最重要的價值就是讓你知道有這么個好東西 :-)
本文鏈接：http://m.www897cc.com/showinfo-26-11833-0.html可觀測性數(shù)據(jù)收集集大成者：Vector
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號