如上图所示：Producer根据指定的partition方法（默认round-robin、hash等），将消息发布到指定topic的partition里面；kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费；Consumer从kafka集群pull数据，并控制获取消息的offset。
下面讨论以下Kafka如何确保消息在producer和consumer之间的传输。producer与consumer有可能的delivery guarantee：
注意：配置基于Kafka 0.8.2.1
#非负整数，用于唯一标识broker
broker.id 0
#kafka持久化数据存储的路径，可以指定多个，以逗号分隔
log.dirs /tmp/kafka-logs
#broker接收连接请求的端口
port 9092
#指定zk连接字符串，[hostname:port]以逗号分隔
zookeeper.connect
#单条消息最大大小控制，消费端的最大拉取大小需要略大于该值
message.max.bytes 1000000
#接收网络请求的线程数
num.network.threads 3
#用于执行请求的I/O线程数
num.io.threads 8
Kafka提供了一个工具，用于调整Topic中各个分区的复本数据。工具名称叫 kafka-reassign-partitions.sh 。
创建一个Topic，共2个分区，副本数为2(共2份,含原始数据):
|
1 |
/opt/kafka/bin/kafka-topics.sh --zookeeper data01:2181,data02:2181,data03:2181/kafka --create --replication-factor 2 --partitions 2 --topic testTopic1 |
查看该Topic。分区0的Leader是1，分区1的Leader是2：
|
1 2 3 4 5 |
[root@data01 bin]# /opt/kafka/bin/kafka-topics.sh --describe --zookeeper data01:2181,data02:2181,data03:2181/kafka --topic testTopic1 Topic:testTopic1 PartitionCount:2 ReplicationFactor:2 Configs: Topic: testTopic1 Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2 Topic: testTopic1 Partition: 1 Leader: 2 Replicas: 2,3 Isr: 2,3 [root@data01 bin]# |
准备一些数据，放在data.file中，然后将数据灌入Kakfa Topic：
|
1 |
/opt/kafka/bin/kafka-console-producer.sh --broker-list data01:9092,data02:9092,data03:9092 --topic testTopic1 < data.file |
在各broker的数据目录下，可以看到当前对应的Topic分区目录：
|
1 2 3 4 5 6 |
[root@cheyo tmp]# dsh -g kafka -c "du -sh /opt/kafka/kafka-logs/testTopic*" data01: 44K /opt/kafka/kafka-logs/testTopic1-0 data02: 44K /opt/kafka/kafka-logs/testTopic1-0 data02: 4.0K /opt/kafka/kafka-logs/testTopic1-1 data03: 4.0K /opt/kafka/kafka-logs/testTopic1-1 [root@cheyo tmp]# |
调整副本数据的配置是以json文件描述的，然后json文件作为参数传递给相关工具。json文件中描述了各个分区的复本如何放置。这里，我们分别为testTopic1的两个分区在原来的基础上新增加了第3个分区。 Continue reading "修改Kafka Topic的分区副本数"
随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现，更为重要的是，如何构建这样一套高可用、安全、易于部署以及响应快速的服务集群，已经成为了迫切需要解决的问题。etcd为解决这类问题带来了福音，本文将从etcd的应用场景开始，深入解读etcd的实现方式，以供开发者们更为充分地享用etcd所带来的便利。 Continue reading "etcd: 从应用场景到实现原理的全方位解读"
启动kafka很简单，配置好前置的操作后，先进入zookeeper的目录下，启动zookeeper
|
1 2 3 4 5 |
cd zookeeper-3.4.6 # 启动zookeeper ./bin/zkServer.sh start # 关闭Zookeeper 当然我们这边就不用关闭了，大家知道就好 ./bin/zkServer.sh stop |
启动后结果如下所示，就代表命令执行成功了：
|
1 2 3 4 |
sh-3.2# ./bin/zkServer.sh start JMX enabled by default Using config: /home/john/Softs/zookeeper-3.4.6/conf/zoo.cfg Starting zookeeper ... STARTED |
PS：因为kafka是需要注册在zookeeper上面，通过zookeeper进行管理和调度的，所以启动kafka之前，我们必须要启动zookeeper。
随后我们进入Kafka目录下，启动kafka，具体操作命令如下所示：
|
1 2 |
cd kafka_2.11-0.10.1.0 ./bin/kafka-server-start.sh ./config/server.properties |
看到没有报错之后kafka就是已经成功被运行了，当然可以jps －lm查看一下，操作命令如下：
|
1 2 3 4 5 6 |
jps -lm # 结果如下 7111 org.apache.zookeeper.server.quorum.QuorumPeerMain /home/john/Softs/zookeeper-3.4.6/conf/zoo.cfg 7357 sun.tools.jps.Jps -lm 7119 kafka.Kafka ./config/server.properties sh-3.2# |
可以看到zookeeper和kafka都已经运行起来了，当然这个是单机的命令，集群的命令后面再讲。
这样启动又一个坏处，就是kafka启动完毕之后，不能关闭终端，为此，我们可以运行这条命令：
|
1 |
nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & |
运行结果：
|
1 |
7404 |
多个kafka的话，在各个虚拟机上运行kafka启动命令多次即可。 Continue reading "Kafka常用命令"
我们这里使用第三方docker镜像来安装kafka环境，分别是：wurstmeister/kafka 和 wurstmeister/zookeeper ，如需修改和自定义请查看对应的Dockerfile。
|
1 2 |
sudo docker pull wurstmeister/zookeeper sudo docker pull wurstmeister/kafka |
MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 Continue reading "RabbitMQ、ActiveMQ、ZeroMQ、Kafka之间的比较"