跳至主要內容

Time After Time

Step By Step
Kafka简介

Apache Kafka 是一个分布式的、高吞吐量、高可扩展性的流处理平台。它主要用于构建实时的数据管道和流式应用程序。它可以被看作是一种分布式的、基于发布/订阅模式的消息队列。

它的核心能力可以概括为以下三项：

  1. 发布和订阅消息流。
  2. 持久化存储消息流，并以容错的方式处理。
  3. 实时处理消息流。

核心概念详解

基本角色与架构

  • Producer：生产者

    • 角色：向Kafka的Topic发送消息的客户端。
    • 行为：生产者决定将消息发送到Topic的哪个Partition。可以通过轮询、指定Key等方式。

  • Consumer：消费者

    • 角色：从Kafka的Topic读取消息的客户端。
    • 行为：消费者通过订阅一个或多个Topic，并从一个Consumer Group中拉取消息。

  • Broker：代理/服务器

    • 角色：一个独立的Kafka服务器实例。多个Broker组成一个Kafka集群。
    • 行为：接收生产者的消息，为这些消息设置偏移量，并持久化存储到磁盘；同时响应消费者的拉取请求，返回消息。

  • Cluster：集群

    • 角色：由多个Broker组成的集合，提供高可用和负载均衡。
    • 行为：整个Kafka服务由一个集群来提供。集群会自动在Broker间分布数据和客户端请求。

  • Controller：控制器

    • 角色：Kafka集群中的一个特殊Broker，由集群选举产生。
    • 行为：负责管理分区和副本的状态，包括分区的分配、Leader选举、监控Broker故障等。是集群的“大脑”。

  • ZooKeeper

    • 角色：Kafka的“元数据管理者”和“协调者”。（注意：新版本Kafka正在逐步移除对ZooKeeper的依赖，使用Kraft模式）
    • 行为：
      • 存储和管理Broker、Topic、Partition等元数据。
      • 进行Controller的选举。
      • 管理Consumer Group的偏移量（老版本）。
      • 监听Broker上下线，通知Controller。
coldgust2025/11/18大约 51 分钟分布式系统kafka分布式消息队列
分布式系统常见概念

基本理论

这些理论是理解和设计分布式系统的根本。

CAP 定理

CAP定理是分布式系统领域最著名的理论，它指出对于一个分布式系统来说，以下三者不可兼得，最多只能同时满足两项：

  • 一致性 (C)：在分布式系统中的所有数据副本，在同一时刻是否具有相同的值。换句话说，每次读取都能获得最新写入的数据。
  • 可用性 (A)：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。
  • 分区容错性 (P)：系统在遇到网络分区（即节点之间无法正常通信）时，仍然能够继续对外提供服务。
coldgust2025/11/17大约 92 分钟分布式系统分布式
SQL优化

1. using filesort

可以对排序的字段添加相应顺序的索引，来避免 using filesort。

2. using temporary

常发生在执行包含排序（GROUP BY, ORDER BY）、去重（DISTINCT）或联合（UNION）等操作的查询时。当 MySQL
在执行查询时，无法直接通过索引获得所需的有序结果，它就需要创建一个内部临时表来存储中间结果，以便进行后续的操作（如排序、分组、去重等）。

coldgust2025/11/12大约 48 分钟MySQLPostgresSQLSQL优化数据库
MySQL中的死锁

Next-Key Lock

Innodb为了解决可重复读隔离级别下的幻读问题，引入了Next-Key Lock，它包括了记录锁（Record Lock）和间隙锁（Gap Lock）。

  • 记录锁：锁的记录本身。
  • 间隙锁：锁的是两个值之间的间隙，防止其它事物在这个间隙里插入新的数据，从而避免幻读。间隙锁之间不互斥，也就是说两个事务可以同时持有包含共同间隙的间隙锁。但如果是插入两个相同的next-key lock，因为包含了记录锁，是会被阻塞的。

共同的间隙锁包含：

coldgust2025/6/15大约 4 分钟MySQL死锁数据库
地理空间邻近算法：GeoHash

问题背景

假设要开发一款基于地理位置的交友软件，其中最核心的功能为用户匹配其邻近的用户。为了实现这个功能，可以把每个用户的经纬度记录下来，之后，可以使用半正矢公式计算两个用户经纬度之间的距离。

可以把用户经纬度数据都存到数据库里，然后用SQL查询附近的用户：

select * from user where latitude between LAT-D and LAT+D and longitude between LNG-D and LNG+D;
coldgust2024/6/16大约 6 分钟空间算法
PACELC理论

如果有网络分区partition (P)，系统就必须在可用性availability和一致性consistency (A and C)之间取得平衡; 否则else (E) 当系统运行在无分区情况下,系统需要在 延迟latency (L) 和 consistency (C)之间取得平衡。

PACELC定理是CAP定理的扩展。

MongoDB

MongoDB（默认配置）下是PA/EC系统，mongo读写都在主节点上，它只需在主节点上写入成功就返回（不像raft需要多数复制成功），当主节点和备节点分区时，可能会丢失数据，所以说PA，在无分区的情况下，由于读写都在主节点，肯定能读到最新写入的数据，所以是EC。另外Mongo可以配置为写入大多数节点读主节点，这样就是PC/EC系统了。

coldgust2024/4/24大约 4 分钟分布式PACELCCAP
一次线上OOM问题排查

生产环境的JVM进程经常被运维报告有OOM的情况，运维的描述是，内存一直在缓慢增长，1-2天就会出现OOM的情况。因为已经严重影响到客户的使用，所以采取由运维定时监控，与客户交流，开发负责排查问题的策略。

Step1：测试环境复现问题

由于开发是没权限进入生产环境的，要高效率解决问题，必须能在测试环境复现。查看生产环境的日志，确认容器出发OOM的接口，然后使用Jmeter在测试环境压测该接口，发生OOM的情况，问题能够复现。

Step2: 在测试环境复现

在测试环境建一个和生产环境规格一样的容器，使用Jmeter压测，确认问题能复现。

coldgust2023/11/2大约 11 分钟JavaLinuxOOM线上问题
无锁编程与内存顺序

无锁编程里最复杂，最难理解的莫过于是内存顺序。

乱序

程序不一定会按照源代码的顺序执行，这称之为乱序。乱序的必须遵循的原则是：在单线程执行下，乱序与不乱序执行的结果必须相同。所以，在单线程的环境里不需要注意乱序的问题，而到了多线程环境就需要考虑乱序。

乱序产生的原因有好几种：

  • 编译器优化，在编译阶段将源码交换。
  • 程序执行期间，指令流水被CPU乱序执行。
  • inherent cache 的分层及刷新策略使得有时候某些写读操作的从效果上看，顺序被重排。

Release和Acquire语义

coldgust2023/10/30大约 5 分钟并发编程无锁编程无锁并发
无锁编程简介

无锁编程是一项挑战，不仅因为任务本身的复杂性，还因为要深入理解这个主题是非常困难的。

我第一次接触无锁（lock-free，又称为lockless）编程是Bruce Dawson优秀而全面的白皮书《Lockless Programming Considerations》。和很多人一样，我也有机会将Bruce的建议付诸实践，在Xbox 360等平台上开发和调试无锁代码。

coldgust2023/10/26大约 21 分钟并发编程无锁编程无锁并发译文
Copyright © 2025 coldgust