Pulsar 是云原生的分布式消息流平台，源于 Yahoo!，支持 Yahoo! 应用，服务 140 万个 topic，日处理超过 1000 亿条消息。2016 年 Yahoo! 开源 Pulsar 并将其捐赠给 Apache 软件基金会，2018 年 Pulsar 成为 Apache 软件基金会的顶级项目。
……继续阅读 »
Kafka设计解析（二）- Kafka High Availability
……继续阅读 »
在Kafka安装目录下（$KAFKA_HOME/bin），提供了很多内置的脚本供我们使用。使用脚本可以测试Kafka的大多数功能，下面我们就脚本的使用作出说明。
……继续阅读 »
最近我们生产环境的kafka集群有增加节点的需求，然而kafka在新增节点后并不会像elasticsearch那样感知到新节点加入后自动将数据reblance到新集群中，因此这个过程需要我们手动分配。一番折腾之后，实现了增加kafka集群节点并将原有数据均匀分配到扩容后的集群。下面结合一个例子谈一下整个过程。
……继续阅读 »
1、消息队列选型
2、Kafka在360商业化的现状
3、Kafka client框架
4、数据高可用
5、负载均衡
6、鉴授权与ACL方案
7、Quota机制
8、跨IDC的数据同步
9、监控告警
10、线上问题及解决方案
……继续阅读 »
超级最新2020一线大厂50道Kafka常见面试题-带答案
……继续阅读 »
spring-kafka是一个很好的用来操作kafka的库，并且可以和spring进行完美结合。
spring-kafka提供了一些kafka使用上功能的扩展。
相比于使用原生的kafka-client的api的话，使用更加简单，需要编写的码量更少。
最好能够使用最新的kafka（0.10.0）和spring-kafka（1.1.1.RELEASE）的版本
……继续阅读 »
Kafka 的消息拉取流程还是比较复杂的，后面会基于上述流程，重点进行拆解，例如消费进度提交，负载队列重平衡等等。
……继续阅读 »
零拷贝技术通过DMA技术将文件内容复制到内核模式下的Read Buffer中。不过没有数据被复制到Socket Buffer，只有包含数据的位置和长度的信息的文件描述符被加到Socket Buffer中。DMA引擎直接将数据从内核模式中传递到网卡设备。这里上下文切换变成了2次,也只经历了2次复制过程就从磁盘中传送出去了。
……继续阅读 »
根据 KafkaConsumer 类上的注释上来看 KafkaConsumer 具有如下特征：
在 Kafka 中 KafkaConsumer 是线程不安全的。
2.2.1 版本的KafkaConsumer 兼容 kafka 0.10.0 和 0.11.0 等低版本。
消息偏移量与消费偏移量(消息消费进度)
Kafka 为分区中的每一条消息维护一个偏移量，即……继续阅读 »
