Logstash是一個(gè)應(yīng)用程序日志、事件的傳輸、處理、管理和搜索的平臺(tái)，是免費(fèi)且開放的服務(wù)器端數(shù)據(jù)處理管道，能夠從多個(gè)來(lái)源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的“存儲(chǔ)庫(kù)”中。

功能介紹

輸入、過(guò)濾器和輸出

Logstash 能夠動(dòng)態(tài)地采集、轉(zhuǎn)換和傳輸數(shù)據(jù)，不受格式或復(fù)雜度的影響。利用 Grok 從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)，從 IP 地址解碼出地理坐標(biāo)，匿名化或排除敏感字段，并簡(jiǎn)化整體處理過(guò)程。

輸入

采集各種樣式、大小和來(lái)源的數(shù)據(jù)

數(shù)據(jù)往往以各種各樣的形式，或分散或集中地存在于很多系統(tǒng)中。Logstash 支持各種輸入選擇，可以同時(shí)從眾多常用來(lái)源捕捉事件。能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標(biāo)、Web 應(yīng)用、數(shù)據(jù)存儲(chǔ)以及各種 AWS 服務(wù)采集數(shù)據(jù)。

篩選

實(shí)時(shí)解析和轉(zhuǎn)換數(shù)據(jù)

數(shù)據(jù)從源傳輸?shù)酱鎯?chǔ)庫(kù)的過(guò)程中，Logstash 過(guò)濾器能夠解析各個(gè)事件，識(shí)別已命名的字段以構(gòu)建結(jié)構(gòu)，并將它們轉(zhuǎn)換成通用格式，以便進(jìn)行更強(qiáng)大的分析和實(shí)現(xiàn)商業(yè)價(jià)值。

Logstash 能夠動(dòng)態(tài)地轉(zhuǎn)換和解析數(shù)據(jù)，不受格式或復(fù)雜度的影響：

利用 Grok 從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)

從 IP 地址破譯出地理坐標(biāo)

將 PII 數(shù)據(jù)匿名化，完全排除敏感字段

簡(jiǎn)化整體處理，不受數(shù)據(jù)源、格式或架構(gòu)的影響

使用我們豐富的過(guò)濾器庫(kù)和功能多樣的 Elastic Common Schema，您可以實(shí)現(xiàn)無(wú)限豐富的可能。

輸出

選擇您的存儲(chǔ)庫(kù)，導(dǎo)出您的數(shù)據(jù)

盡管 Elasticsearch 是我們的首選輸出方向，能夠?yàn)槲覀兊乃阉骱头治鰩��?lái)無(wú)限可能，但它并非唯一選擇。

Logstash 提供眾多輸出選擇，您可以將數(shù)據(jù)發(fā)送到您要指定的地方，并且能夠靈活地解鎖眾多下游用例。

可擴(kuò)展

以您自己的方式創(chuàng)建和配置管道

Logstash 采用可插拔框架，擁有 200 多個(gè)插件。您可以將不同的輸入選擇、過(guò)濾器和輸出選擇混合搭配、精心安排，讓它們?cè)诠艿乐泻椭C地運(yùn)行。

從自定義應(yīng)用程序采集數(shù)據(jù)？沒(méi)有看到所需的插件？Logstash 插件很容易構(gòu)建。我們有一個(gè)極好的插件開發(fā) API 和插件生成器，可幫助您開始創(chuàng)作并分享成果。

即插即用

使用 Elastic Stack 更快獲得洞察

Logstash 模塊通過(guò)熱門的數(shù)據(jù)源（如 ArcSight 和 Netflow ）呈現(xiàn)瞬間可視化的體驗(yàn)。通過(guò)立即部署采集管道和復(fù)雜的儀表板，您在短短幾分鐘內(nèi)便可開始數(shù)據(jù)探索。

可靠性與安全性

構(gòu)建可信的交付管道

假如 Logstash 節(jié)點(diǎn)發(fā)生故障，Logstash 會(huì)通過(guò)持久化隊(duì)列來(lái)保證至少將運(yùn)行中的事件送達(dá)一次。那些未被正常處理的消息會(huì)被送往死信隊(duì)列 (dead letter queue) 以便做進(jìn)一步處理。由于具備了這種吸收吞吐量的能力，現(xiàn)在您無(wú)需采用額外的隊(duì)列層，Logstash 就能平穩(wěn)度過(guò)高峰期。此外，我們還能讓您充分確保自己采集管道的安全性。

MONITORING

全方位監(jiān)視您的部署

Logstash 管道通常服務(wù)于多種用途，會(huì)變得非常復(fù)雜，因此充分了解管道性能、可用性和瓶頸異常重要。借助監(jiān)測(cè)和管道查看器功能，您可以輕松觀察和研究處于活動(dòng)狀態(tài)的 Logstash 節(jié)點(diǎn)或整個(gè)部署。