Nginx 中 Non-blocking IO 结合内存池的优化实践

Nginx 高并发靠非阻塞IO与内存池协同降开销：epoll/kqueue实现单worker管数万连接，预分配内存池实现零malloc请求处理，连接与请求内存分层管理，并通过压测验证内存无泄漏。

Nginx 能稳定支撑数万并发连接，靠的不是堆硬件，而是非阻塞 IO 和内存池这两套机制严丝合缝的配合——前者让连接“不占资源等数据”，后者让内存“不花时间还回去”。它们不是各自为战，而是一起把单连接开销压到最低。

非阻塞 IO 让一个 worker 管数万连接

Linux 下 Nginx 默认用 epoll，BSD/macOS 用 kqueue。它不为每个连接开线程，而是把所有 socket 注册进内核事件表。只有当数据真正就绪、连接建立或对端关闭时，内核才通知 Nginx 处理，其余时间 worker 进程完全空闲，CPU 零消耗。

• worker_processes 设置为 CPU 核心数，避免跨核调度开销
• worker_connections 建议调高（如 4096 或 8192），但需同步检查系统级限制：ulimit -n 和 /proc/sys/fs/file-max
• multi_accept off 更稳妥，防止突发流量下某 worker 饱和而其他空闲；on 可提升吞吐，但需搭配足够 buffer 和 timeout 控制

内存池让每次请求分配“零 malloc”

每个 HTTP 请求一进来，Nginx 就从预分配的内存池中划出一块连续内存（默认池大小 16KB）；所有 header 解析、变量存储、临时 buf 全部复用这块区域；请求结束时，整块池直接 reset——没有 free，没有碎片，也没有锁竞争。

• 小对象（≤4095 字节）走 pool 内偏移分配，无元数据、无锁
• 大对象（如上传文件体）走单独 malloc 或 mmap，不污染主池
• 结构体优先用 ngx_pcalloc（自动清零），避免脏内存引发越界
• 禁用任何 libc 分配：模块里不用 malloc/calloc，Lua 脚本里不用 string.format/table.concat

连接与请求内存严格分层

Nginx 把连接（ngx_connection_t）和请求（ngx_http_request_t）内存彻底分开：连接结构体长期存活（TCP 未断就一直存在），只存 socket、地址、读写事件等轻量字段；而完整 HTTP 解析所需的内存，全挂在请求级内存池下。启用 keepalive 时，一个连接可承载多个请求，每个都有独立池，互不影响。

• client_header_timeout 和 client_body_timeout 不只是防攻击，更是控制请求池最大生命周期
• large_client_header_buffers 用于兜底超长 header，避免因单次分配失败导致 400 错误
• proxy_buffer_size 至少设为 12KB，兼容主流框架返回的 header 大小

验证是否真生效，别只看配置

再完美的设计也要靠运行数据说话。压测期间定期执行：

• pmap -x $(pidof nginx) | grep anon-rss —— 观察 RSS 是否阶梯式上涨，若持续增长说明有隐式 malloc 漏洞
• tail -f error.log —— 关注 “ngx_chain_get_free_buf: no free buf” 类日志，表示 chain 复用链断裂
• 开启 -DNGX_DEBUG_MALLOC 编译选项，配合 addr2line 定位非 pool 分配点
• 用 ngx.shared.DICT 替代 Lua table 缓存，避免 Lua GC 触发不可控分配