Kafka是什麼?看完Kafka背景及架構介紹你就知道了。Kafka是由LinkedIn開發並開源的分布式消息係統,因其分布式及高吞吐率而被廣泛使用,我們的kafka性能測試工具下載專題為您提供了各種問題的解答和應用程序哦!
Kafka簡介
Kafka是一種分布式的,基於發布/訂閱的消息係統。主要設計目標如下:
以時間複雜度為O(1)的方式提供消息持久化能力,即使對TB級以上數據也能保證常數時間複雜度的訪問性能
高吞吐率。即使在非常廉價的商用機器上也能做到單機支持每秒100K條以上消息的傳輸
支持Kafka Server間的消息分區,及分布式消費,同時保證每個Partition內的消息順序傳輸
同時支持離線數據處理和實時數據處理
Scale out:支持在線水平擴展
Kafka創建背景
Kafka是一個消息係統,原本開發自LinkedIn,用作LinkedIn的活動流(Activity Stream)和運營數據處理管道(Pipeline)的基礎。現在它已被多家不同類型的公司 作為多種類型的數據管道和消息係統使用。
活動流數據是幾乎所有站點在對其網站使用情況做報表時都要用到的數據中最常規的部分。活動數據包括頁麵訪問量(Page View)、被查看內容方麵的信息以及搜索情況等內容。這種數據通常的處理方式是先把各種活動以日誌的形式寫入某種文件,然後周期性地對這些文件進行統計分析。運營數據指的是服務器的性能數據(CPU、IO使用率、請求時間、服務日誌等等數據)。運營數據的統計方法種類繁多。
近年來,活動和運營數據處理已經成為了網站軟件產品特性中一個至關重要的組成部分,這就需要一套稍微更加複雜的基礎設施對其提供支持。