前言最近很多粉丝后台留言问了一些大数据的面试题，其中包括了大量的 Kafka、Spark等相关的问题，所以我特意抽出时间整理了一些大数据相关面试题，本文是 Kafka 面试相关问题，其他系列面试题后面会陆续整理文章目录1、Kafka 都有哪些特点？2、请简述下你在哪些场景下会选择 Kafka？3、 Kafka 的设计架构你知道吗？4、Kafka 分区的目的？ …
未分类
Kafka-client 版本 2.2.2这里用一个demo来解释这个问题的原因和排查思路import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;public class MessageQueu …
PartitionStateMachine分区状态转换实现1 我为何读这源码？PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。很多面试官都爱问Leader选举策略。学完本文，你不但能说出4种Leader选举场景，还能总结出它们的共性。2 简介PartitionStateMac …
本文作者Stephanie Sherriff的技术团队第一个 App 高度依赖 Kafka，她希望这个 App 能够支持审计，具有很高的稳定性，从长远看，随着用户量的增长也能够轻松地处理高负载。但 Kafka 同样带来了基础设施、系统维护和支持方面的成本问题，最终他们选择了用 gRPC 取代了 Kafka。值得说明的是，二者的技术选型并没有明确的优劣之分，有 …
#暑期创作大赛#Kafka数据流处理在Java中的应用可以通过Kafka Streams库来实现。以下是一个简单的示例，展示了如何使用Kafka Streams进行数据流处理：import java.util.Properties;import org.apache.kafka.streams.KafkaStreams;import org.apache.k …
#Kafka单机部署##单独部署Zookeeper1.JAVA8环境2.解压下载文件apache-zookeeper-3.5.7-bin.tar.gz3. $ cp zoo_sample.cfg zoo.cfg$ vim zoo.cfg 修改 dataDir 不要使用tmp 新加dataLogDir admin.sercerPosrt 修改默认端口， 默认为 …
Durid概述Apache Druid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性，使用场景，技术特点和架构。这将有助于你选型数据存储方案，深入了解Druid存储，深入了解时间序列存储等。Apache Druid是一个高性能的实时分析型数据库。上篇文章，我们了解了Druid的加载方式，咱么主要说 …
整体流程大概如下：服务器准备在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容SpringBoot项目准备引入log4j2替换SpringBoot默认log，demo项目结构如下：pom<dependencies><dependency><groupId>org.springframework.boot< …
介绍 KafkaKafka 是一款基于发布与订阅的消息系统。用生产者客户端 API 向 Kafka 生产消息，用消费者客户端 API 从 Kafka 读取这些消息。Kafka 使用 Zookeeper 保存元数据信息。Kafka 0.9 版本之前，除了 broker 之外， 消费者也会使用 Zookeeper 保存一些信息，比如消费者群组的信息、 主题信息、 …
上次的 Kafka 重启失败事件，对为什么重启失败的原因似乎并没有解释清楚，那么我就在这里按照我对 Kafka 的认识，从源码和日志文件结构去尝试寻找原因。从源码中定位到问题的根源首先把导致 Kafka 进程退出的异常栈贴出来：注：以下源码基于 kafka 0.11.0.2 版本。我们直接从 index 文件损坏警告日志的位置开始：kafka.log.Log …