多個broker協同合作,producer、consumer和broker三者之間通過zookeeper來協調請求和轉發。Kafka軟件裏producer產生和推送(push)數據到broker,consumer從broker拉取(pull)數據並進行處理。那麼,Kafka使用入門教程是什麼呢?一起來看看吧!
啟動服務
Kafka用到了Zookeeper,所有首先啟動Zookper,下麵簡單的啟用一個單實例的Zookkeeper服務。可以在命令的結尾加個&符號,這樣就可以啟動後離開控製台。
> bin/zookeeper-server-start.sh config/zookeeper.properties &
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
現在啟動Kafka:
> bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
Step 3: 創建 topic
創建一個叫做“test”的topic,它隻有一個分區,一個副本。
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
可以通過list命令查看創建的topic:
> bin/kafka-topics.sh --list --zookeeper localhost:2181
test
除了手動創建topic,還可以配置broker讓它自動創建topic.
Step 4:發送消息.
Kafka 使用一個簡單的命令行producer,從文件中或者從標準輸入中讀取消息並發送到服務端。默認的每條命令將發送一條消息。
運行producer並在控製台中輸一些消息,這些消息將被發送到服務端:
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a messageThis is another message
ctrl+c可以退出發送。
Step 5: 啟動consumer
Kafka also has a command line consumer that will dump out messages to standard output.
Kafka也有一個命令行consumer可以讀取消息並輸出到標準輸出:
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message
你在一個終端中運行consumer命令行,另一個終端中運行producer命令行,就可以在一個終端輸入消息,另一個終端讀取消息。
這兩個命令都有自己的可選參數,可以在運行的時候不加任何參數可以看到幫助信息。
Step 6: 搭建一個多個broker的集群
剛才隻是啟動了單個broker,現在啟動有3個broker組成的集群,這些broker節點也都是在本機上的:
首先為每個節點編寫配置文件:
> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties