Pytest 中如何正确对多进程函数进行 monkeypatch 测试

Pytest 的 monkeypatch 在多进程（ProcessPoolExecutor）场景下失效，是因为子进程通过 spawn 方式启动时不会继承父进程的内存状态，而是重新执行模块全局代码；解决方法是通过 initializer 参数为进程池显式初始化共享状态，并改造被测函数以支持传入自定义 executor。

pytest 的 monkeypatch 在多进程（processpoolexecutor）场景下失效，是因为子进程通过 spawn 方式启动时不会继承父进程的内存状态，而是重新执行模块全局代码；解决方法是通过 `initializer` 参数为进程池显式初始化共享状态，并改造被测函数以支持传入自定义 executor。

在 Python 多进程测试中，monkeypatch 对 ProcessPoolExecutor 无效是一个常见但易被误解的问题。根本原因在于：子进程不共享父进程的运行时内存。尤其在 Windows 和 macOS（默认使用 spawn 启动方式）上，每个子进程会重新导入模块、重新执行全局语句（如 MY_CONSTANT = “hello”），因此 monkeypatch.setattr() 在主进程中修改的值，对子进程完全不可见。

相比之下，ThreadPoolExecutor 共享主线程内存空间，所以 monkeypatch 生效；而单进程调用更无需跨进程通信，自然也生效。

✅ 正确解决方案：使用 initializer 显式初始化子进程

核心思路是：让每个子进程在启动时主动设置所需状态，而非依赖父进程 patch。这需两步配合：

1. 改造被测函数：支持传入自定义 executor（便于测试时注入带 initializer 的实例）；
2. 在测试中创建带 initializer 的 ProcessPoolExecutor：该函数会在每个子进程启动时执行，用于设置全局变量、打补丁或初始化资源。

以下是重构后的关键代码：

# file_a.py
import concurrent.futures as ccf

MY_CONSTANT = "hello"

def my_function():
    return MY_CONSTANT

def multiprocess_f(executor=None):
    """支持传入 executor，便于测试控制子进程初始化行为"""
    if executor is None:
        executor = ccf.ProcessPoolExecutor()

    result = []
    with executor:  # 自动管理生命周期
        futures = [executor.submit(my_function) for _ in range(3)]
        for future in ccf.as_completed(futures):
            result.append(future.result())
    return result

# test_file_a.py
import concurrent.futures as ccf
import file_a

def init_pool_processes():
    """在每个子进程中执行：覆盖全局常量"""
    file_a.MY_CONSTANT = "world"

def test_multiprocess_f():
    # 创建带 initializer 的专用 executor
    executor = ccf.ProcessPoolExecutor(initializer=init_pool_processes)
    result = file_a.multiprocess_f(executor)
    assert result == ["world"] * 3

? 注意：initializer 函数不能接收参数，且必须是可序列化的（即不能是 lambda 或闭包）。若需传递动态值，可通过模块级变量、环境变量或临时文件间接实现。

? 补充说明与最佳实践

• 避免 patch 模块级常量本身：monkeypatch.setattr(“file_a.MY_CONSTANT”, …) 在多进程下无效；应将逻辑封装进 initializer。
• 推荐使用 monkeypatch.context() 管理作用域（如单/线程测试中），但多进程测试中它仅作用于主进程，与子进程无关。
• 若需 patch 函数（而非变量），同样应在 initializer 中重赋值，例如：file_a.my_function = lambda: “mocked”。
• 对于复杂依赖（如数据库连接、HTTP 客户端），建议将初始化逻辑封装为独立函数，并在 initializer 中调用，确保子进程具备一致上下文。

总之，多进程测试不是“patch 不起作用”，而是需要从进程模型本质出发，主动适配子进程初始化机制。通过 initializer + 可注入 executor 的设计，即可实现可靠、可维护的单元测试。