Logstash(日誌管理係統)v7.11.1官方版

Logstash是一個應用程序日誌、事件的傳輸、處理、管理和搜索的平台，是免費且開放的服務器端數據處理管道，能夠從多個來源采集數據，轉換數據，然後將數據發送到您最喜歡的“存儲庫”中。

【軟件介紹】

Logstash是一個應用程序日誌、事件的傳輸、處理、管理和搜索的平台。你可以用它來統一對應用程序日誌進行收集管理，提供Web接口用於查詢和統計。

Logstash現在是ElasticSearch家族成員之一。

【開發環境】

1、安裝JDK版本8或11。請確保將JAVA_HOME環境變量設置為JDK安裝目錄的路徑。例如set JAVA_HOME=。

2、安裝JRuby 9.2.x建議使用Ruby版本管理器，例如RVM或rbenv。

3、安裝rake和bundler使用工具。

【功能介紹】

　　從 IP 地址破譯出地理坐標

　　將 PII 數據匿名化，完全排除敏感字段

　　簡化整體處理，不受數據源、格式或架構的影響

　　使用我們豐富的過濾器庫和功能多樣的 Elastic Common Schema，您可以實現無限豐富的可能。

　　輸出

　　選擇您的存儲庫，導出您的數據

　　盡管 Elasticsearch 是我們的首選輸出方向，能夠為我們的搜索和分析帶來無限可能，但它並非唯一選擇。

　　Logstash 提供眾多輸出選擇，您可以將數據發送到您要指定的地方，並且能夠靈活地解鎖眾多下遊用例。

　　可擴展

　　以您自己的方式創建和配置管道

　　Logstash 采用可插拔框架，擁有 200 多個插件。您可以將不同的輸入選擇、過濾器和輸出選擇混合搭配、精心安排，讓它們在管道中和諧地運行。

　　從自定義應用程序采集數據？沒有看到所需的插件？Logstash 插件很容易構建。我們有一個極好的插件開發 API 和插件生成器，可幫助您開始創作並分享成果。

　　即插即用

　　使用 Elastic Stack 更快獲得洞察

　　Logstash 模塊通過熱門的數據源（如 ArcSight 和 Netflow ）呈現瞬間可視化的體驗。通過立即部署采集管道和複雜的儀表板，您在短短幾分鍾內便可開始數據探索。

　　可靠性與安全性

　　構建可信的交付管道

　　假如 Logstash 節點發生故障，Logstash 會通過持久化隊列來保證至少將運行中的事件送達一次。那些未被正常處理的消息會被送往死信隊列 (dead letter queue) 以便做進一步處理。由於具備了這種吸收吞吐量的能力，現在您無需采用額外的隊列層，Logstash 就能平穩度過高峰期。此外，我們還能讓您充分確保自己采集管道的安全性。

　　MONITORING

　　全方位監視您的部署

　　Logstash 管道通常服務於多種用途，會變得非常複雜，因此充分了解管道性能、可用性和瓶頸異常重要。借助監測和管道查看器功能，您可以輕鬆觀察和研究處於活動狀態的 Logstash 節點或整個部署。

　　輸入、過濾器和輸出

　　Logstash 能夠動態地采集、轉換和傳輸數據，不受格式或複雜度的影響。利用 Grok 從非結構化數據中派生出結構，從 IP 地址解碼出地理坐標，匿名化或排除敏感字段，並簡化整體處理過程。

　　輸入

　　采集各種樣式、大小和來源的數據

　　數據往往以各種各樣的形式，或分散或集中地存在於很多係統中。Logstash 支持各種輸入選擇，可以同時從眾多常用來源捕捉事件。能夠以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務采集數據。

　　篩選

　　實時解析和轉換數據

　　數據從源傳輸到存儲庫的過程中，Logstash 過濾器能夠解析各個事件，識別已命名的字段以構建結構，並將它們轉換成通用格式，以便進行更強大的分析和實現商業價值。

　　Logstash 能夠動態地轉換和解析數據，不受格式或複雜度的影響：

　　利用 Grok 從非結構化數據中派生出結構