1. 线程池基础概念与实现动机
在计算机编程中,线程池是一种并发编程的设计模式,它维护着一组预先创建的线程,等待分配任务执行。我第一次接触线程池是在开发一个网络爬虫项目时,当时发现频繁创建和销毁线程导致系统性能急剧下降,这才意识到线程池的重要性。
1.1 为什么需要线程池
想象你经营着一家餐厅。每当有顾客到来,你就临时雇佣一名厨师,等这位顾客用餐完毕就立即解雇厨师。这种模式显然效率极低,因为:
- 雇佣和解雇过程本身需要时间和资源
- 厨师需要时间熟悉厨房环境
- 高峰期可能同时需要大量厨师,难以快速响应
线程池就像是餐厅的固定厨师团队:
- 预先雇佣一定数量的厨师(线程创建)
- 有订单(任务)时分配给空闲厨师
- 厨师完成当前订单后继续等待新订单
- 餐厅打烊时统一解雇所有厨师(线程销毁)
1.2 线程池的核心优势
通过实际项目经验,我总结了线程池的三大核心价值:
- 降低资源消耗:在我的爬虫项目中,使用线程池后线程创建/销毁开销减少了约70%
- 提高响应速度:任务到达时可以直接执行,省去了线程创建时间
- 增强可控性:可以限制并发线程数量,避免系统过载
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 线程池架构设计与核心组件
2.1 线程池的三层结构
一个完整的线程池通常包含以下三个核心组件:
-
任务队列(Task Queue):
- 采用双向链表实现
- 新任务从头部插入(生产者)
- 工作线程从头部取出任务(消费者)
- 需要互斥锁保护队列操作
-
工作线程池(Worker Pool):
- 预先创建的一组线程
- 每个线程循环执行"取任务-执行"流程
- 通过条件变量实现高效等待
-
管理组件(Manager):
- 维护任务队列和线程池状态
- 提供创建、销毁、任务提交等接口
- 处理异常情况和资源回收
2.2 关键数据结构实现
2.2.1 任务结构体(nTask)
c复制struct nTask {
void (*task_func)(struct nTask *task); // 任务函数指针
void *user_data;
