1. 为什么需要手动实现线程池?
在C++11之前,多线程编程往往需要依赖平台特定的API(如Windows的CreateThread或Linux的pthread_create)。这种实现方式不仅代码臃肿,还容易引发资源竞争和死锁问题。C++11引入的std::thread虽然简化了线程创建,但直接使用裸线程仍然存在几个致命缺陷:
- 线程创建销毁成本高:每次任务都新建线程,系统调用开销可能比实际任务执行时间还长
- 资源耗尽风险:无限制创建线程会导致内存和CPU上下文切换开销暴增
- 任务调度不可控:操作系统默认的线程调度策略可能不符合业务需求
我曾在项目中实测过:当并发任务达到1000+时,直接创建线程的方案耗时是线程池的3倍以上,且内存占用高出40%。这就是为什么我们需要手动实现线程池——它通过预创建线程+任务队列的机制,实现了:
- 线程复用:避免频繁创建销毁
- 资源管控:限制最大并发数
- 任务缓冲:应对突发流量
- 统一管理:集中处理异常和生命周期
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 线程池核心组件拆解
2.1 任务封装:std::function + std::future
线程池的核心是任务抽象。C++11的std::function可以封装任意可调用对象(函数指针、lambda、bind表达式等),而std::future则用于异步获取结果:
cpp复制template<typename F, typename... Args>
auto enqueue(F&& f, Args&&... args)
-> std::future<typename std::result_of<F(Args...)>::type>
{
using return_type = typename std::result_of<F(Args...)>::type;
auto task = std::make_shared<std::packaged_task<return_type()>>(
std::bind(std::forward<F>(f), std::forward<Args>(args)...)
);
std::future<return_type> res = task->get_future();
{
std::unique_lock<std::mutex> lock(queue_mutex);
tasks.emplace([task](){ (*task)(); });
}
condition.notify_one();
return res;
}
这段代码实现了:
- 通过std::result_of推导返回值类型
- 用std::packaged_task包装任务,获取std::future
- 将任务封装为void()类型的std::function存入队列
- 通知工作线程取任务
关键点:必须用shared_ptr包装task,因为std::function要求可复制构造,而packaged_task只能移动
2.2 线程管理:std::thread + std::condition_variable
工作线程的典型实现模式:
cpp复制void worker() {
while(true) {
