1. 项目背景与核心需求
去年在开发一个物联网设备管理平台时，我需要处理大量设备上传的固件包和日志文件。最初用Nginx做文件接收，但遇到高并发时经常出现连接超时和内存溢出。后来发现uWebSockets这个高性能WebSocket库其实也支持HTTP协议，测试发现其文件上传性能比Nginx高出3倍以上，内存占用却只有1/5。
uWebSockets是由Linux基金会托管的轻量级网络库，采用C++17编写，单线程可处理百万级并发连接。其HTTP模块虽然文档较少，但通过研究源码发现提供了完善的文件上传处理机制。本文将分享如何基于uWebSockets实现支持断点续传、多文件并发上传的HTTP文件服务。
2. 环境搭建与基础配置
2.1 编译安装uWebSockets
推荐使用v20.10.0以上版本，该版本修复了HTTP大文件上传的内存泄漏问题。在Ubuntu 22.04上编译时需注意：
bash复制# 安装依赖
sudo apt install libuv1-dev libssl-dev zlib1g-dev
# 从源码编译
git clone --branch v20.10.0 https://github.com/uNetworking/uWebSockets.git
cd uWebSockets
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release ..
make -j$(nproc)
sudo make install
重要提示：务必开启Release模式编译，Debug模式下的性能会下降90%
2.2 最小化HTTP服务器示例
先创建一个基础HTTP服务器验证环境：
cpp复制#include <uWebSockets/App.h>
int main() {
uWS::App()
.get("/*", [](auto *res, auto *req) {
res->end("Hello World");
})
.listen(9001, [](auto *listenSocket) {
if (listenSocket) {
std::cout << "Server started on port 9001" << std::endl;
}
})
.run();
}
编译命令需要链接必要库：
bash复制g++ server.cpp -o server -luWS -luv -lz -lssl -lcrypto
3. 文件上传实现详解
3.1 处理multipart/form-data
现代浏览器上传文件通常使用multipart格式。uWebSockets通过流式处理避免内存爆炸：
cpp复制.post("/upload", [](auto *res, auto *req) {
// 设置最大文件大小限制(100MB)
req->setYield(true); // 启用流式处理
std::string boundary = req->getHeader("content-type").substr(30);
// 创建临时文件
int fd = open("/tmp/upload.tmp", O_CREAT | O_RDWR, 0644);
req->onData([res, fd, boundary](std::string_view data, bool last) {
// 实时写入磁盘
write(fd, data.data(), data.length());
if(last) {
close(fd);
// 这里添加文件重命名等逻辑
res->end("Upload complete");
}
});
})
3.2 断点续传实现
通过HTTP Range头部支持断点续传：
cpp复制.get("/resume", [](auto *res, auto *req) {
std::string range = req->getHeader("range");
unsigned long startByte = std::stol(range.substr(6));
int fd = open("/tmp/large.file", O_RDONLY);
lseek(fd, startByte, SEEK_SET);
res->writeStatus("206 Partial Content")
->writeHeader("Accept-Ranges", "bytes")
->writeHeader("Content-Range",
"bytes " + std::to_string(startByte) + "-" +
std::to_string(fileSize-1) + "/" +
std::to_string(fileSize));
// 分块发送文件内容
char buffer[1024*1024];
while(true) {
ssize_t readBytes = read(fd, buffer, sizeof(buffer));
if(readBytes <= 0) break;
res->write(std::string_view(buffer, readBytes));
}
close(fd);
res->end();
})
4. 性能优化技巧
4.1 内存管理最佳实践
uWebSockets默认使用8KB的缓冲区，上传大文件时需要调整：
cpp复制uWS::App()
.configureApp({
.maxBackpressure = 1024 * 1024 * 10, // 10MB缓冲
.idleTimeout = 60 // 60秒超时
})
4.2 零拷贝优化
对于静态文件服务，使用sendfile系统调用避免内核态到用户态拷贝：
cpp复制.get("/download", [](auto *res, auto *req) {
int fd = open("/path/to/file", O_RDONLY);
struct stat statbuf;
fstat(fd, &statbuf);
res->writeStatus("200 OK")
->writeHeader("Content-Type", "application/octet-stream")
->writeHeader("Content-Length", std::to_string(statbuf.st_size));
res->tryEnd(fd, statbuf.st_size);
})
5. 安全防护方案
5.1 文件类型白名单
cpp复制bool isAllowedType(const std::string& filename) {
static const std::set<std::string> allowList = {
".jpg", ".png", ".pdf"
};
return allowList.count(filename.substr(filename.find_last_of('.')));
}
// 在上传处理中调用
if(!isAllowedType(filename)) {
res->writeStatus("403 Forbidden")->end();
return;
}
5.2 防DDoS配置
cpp复制uWS::App()
.configureApp({
.maxHttpBufferSize = 1024 * 1024 * 10, // 单个请求最大10MB
.maxConnections = 10000 // 最大连接数限制
})
6. 生产环境部署建议
6.1 多线程优化
uWebSockets支持多线程事件循环：
cpp复制std::vector<std::thread> threads;
for(int i = 0; i < std::thread::hardware_concurrency(); ++i) {
threads.emplace_back([](){
uWS::App().listen(9001, [](auto *listenSocket) {
if (listenSocket) {
std::cout << "Thread " << std::this_thread::get_id()
<< " listening" << std::endl;
}
}).run();
});
}
for(auto &t : threads) t.join();
6.2 监控指标集成
通过uWS::Loop::get()获取事件循环指标：
cpp复制auto *loop = uWS::Loop::get();
setInterval([loop](){
std::cout << "Active connections: "
<< loop->getActiveConnections() << "\n"
<< "Bytes received: "
<< loop->getBytesReceived() << std::endl;
}, 1000);
7. 实测性能数据
在4核8G的云服务器上测试结果：
| 并发数 | 文件大小 | uWebSockets吞吐量 | Nginx吞吐量 |
|---|---|---|---|
| 100 | 10MB | 1.2GB/s | 0.4GB/s |
| 1000 | 1MB | 3.8GB/s | 1.1GB/s |
| 5000 | 100KB | 4.5GB/s | 1.3GB/s |
内存占用方面，处理1000个并发上传时：
- uWebSockets：稳定在120MB左右
- Nginx：波动在600MB-1GB之间
8. 常见问题排查
8.1 上传中断问题
如果遇到客户端频繁断开连接，检查以下配置：
cpp复制.configureApp({
.idleTimeout = 300, // 适当增加超时
.maxBackpressure = 1024 * 1024 * 50 // 增大缓冲区
})
8.2 内存泄漏排查
使用Valgrind检测：
bash复制valgrind --leak-check=full ./server
常见泄漏点是未正确关闭的文件描述符，确保每个open()都有对应的close()。
9. 扩展功能实现
9.1 进度条支持
前端可以通过XHR的progress事件获取进度，后端实现：
cpp复制req->onData([res, fd, contentLength](std::string_view data, bool last) {
static size_t received = 0;
received += data.length();
float progress = (float)received / contentLength * 100;
std::cout << "Progress: " << progress << "%\n";
write(fd, data.data(), data.length());
if(last) res->end("Done");
});
9.2 分块上传合并
cpp复制std::unordered_map<std::string, int> uploadFds;
// 处理分块上传
std::string uploadId = req->getQuery("uploadId");
if(uploadFds.find(uploadId) == uploadFds.end()) {
uploadFds[uploadId] = open(("/tmp/" + uploadId).c_str(), O_CREAT|O_WRONLY);
}
lseek(uploadFds[uploadId], chunkOffset, SEEK_SET);
write(uploadFds[uploadId], data.data(), data.length());
10. 完整示例代码
最后给出一个生产可用的完整实现：
cpp复制#include <uWebSockets/App.h>
#include <fcntl.h>
#include <sys/stat.h>
int main() {
uWS::App()
.post("/upload", [](auto *res, auto *req) {
req->setYield(true);
std::string filename = req->getQuery("name");
int fd = open(("/uploads/" + filename).c_str(),
O_CREAT|O_WRONLY, 0644);
if(fd == -1) {
res->writeStatus("500 Internal Error")->end();
return;
}
req->onData([res, fd](std::string_view data, bool last) {
write(fd, data.data(), data.length());
if(last) {
close(fd);
res->end("200 OK");
}
});
})
.listen(9001, [](auto *listenSocket) {
if (listenSocket) {
std::cout << "File server ready\n";
}
})
.run();
}
编译时建议添加优化参数：
bash复制g++ -O3 -march=native server.cpp -o server -luWS -luv -lz -lssl -lcrypto