C++调用Python代码的技术方案与实践-嵌云网-嵌入式AI开发资源站

C++调用Python代码的技术方案与实践

谭康熹

1. 为什么要在C++中调用Python代码？

在开发高性能应用程序时，我们常常面临一个两难选择：既需要C++的高效执行性能，又需要Python丰富的生态系统和快速开发能力。这就是C++调用Python技术的用武之地。

想象一下这样的场景：你正在开发一个3D游戏引擎，核心渲染循环必须用C++实现以保证性能，但游戏逻辑和AI行为脚本又希望用Python编写以便快速迭代。或者你正在构建一个金融交易系统，低延迟的交易引擎用C++开发，但复杂的策略分析算法却想利用Python的NumPy和Pandas库。

1.1 典型应用场景

科学计算：将Python的SciPy/NumPy集成到C++数值计算程序中
机器学习部署：在C++应用中调用训练好的Python模型
游戏开发：用Python编写游戏逻辑，C++处理图形渲染
自动化测试：用Python编写测试用例，C++实现被测系统
插件系统：允许用户通过Python脚本扩展C++应用功能

提示：当你的项目同时需要"大象的力量"（C++性能）和"猴子的敏捷"（Python灵活性）时，这种技术组合就特别有价值。

2. 技术方案选型与对比

在C++中调用Python代码，主要有以下几种技术路线，各有优缺点：

2.1 Python C API（官方方案）

这是Python官方提供的C语言API，也是其他方案的基础。它提供了最底层的控制能力，但使用起来也最复杂。

cpp复制#include <Python.h>

int main() {
    Py_Initialize();
    PyRun_SimpleString("print('Hello from Python!')");
    Py_Finalize();
    return 0;
}

优点：

官方支持，稳定性高
无需额外依赖
性能最佳

缺点：

手动管理引用计数容易出错
接口复杂，学习曲线陡峭
代码与Python版本绑定

2.2 Boost.Python

Boost库提供的Python绑定封装，大幅简化了Python C API的使用。

cpp复制#include <boost/python.hpp>

BOOST_PYTHON_MODULE(hello) {
    using namespace boost::python;
    def("greet", []() { return "Hello from Boost.Python!"; });
}

优点：

接口更符合C++习惯
自动管理引用计数
支持C++异常到Python异常的转换

缺点：

需要引入Boost库依赖
二进制兼容性问题
模板元编程导致编译时间较长

2.3 pybind11

现代轻量级的C++/Python绑定库，正在逐渐取代Boost.Python。

cpp复制#include <pybind11/pybind11.h>

namespace py = pybind11;

PYBIND11_MODULE(example, m) {
    m.def("add", [](int a, int b) { return a + b; });
}

优点：

头文件only，无二进制依赖
更简洁现代的API设计
更好的类型安全
活跃的社区支持

缺点：

对C++17特性支持有限
文档不如Boost.Python完善

2.4 其他方案对比

方案	易用性	性能	依赖	维护性	适用场景
Python C API	低	高	无	低	底层控制
Boost.Python	中	中	Boost	中	传统项目
pybind11	高	高	轻量	高	现代项目
Cython	中	中	Cython	中	Python扩展

注意：新项目建议优先考虑pybind11，除非有特殊需求或历史包袱。

3. 基于pybind11的完整实现示例

下面我们通过一个完整的图像处理示例，演示如何在C++应用中调用Python的OpenCV库。

3.1 环境准备

首先确保已安装：

Python 3.6+
pybind11 (pip install pybind11)
CMake 3.4+
编译器支持C++11

3.2 项目结构

code复制project/
├── CMakeLists.txt
├── src/
│   ├── main.cpp
│   └── pybindings.cpp
└── python/
    └── image_utils.py

3.3 Python模块实现

python/image_utils.py:

python复制import cv2
import numpy as np

def apply_filter(image, filter_name):
    """应用指定的图像滤镜"""
    if filter_name == "blur":
        return cv2.blur(image, (5,5))
    elif filter_name == "edge":
        gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
        return cv2.Canny(gray, 100, 200)
    else:
        raise ValueError(f"Unknown filter: {filter_name}")

3.4 C++绑定代码

src/pybindings.cpp:

cpp复制#include <pybind11/embed.h>
#include <pybind11/stl.h>
#include <opencv2/opencv.hpp>

namespace py = pybind11;

class PythonImageProcessor {
public:
    PythonImageProcessor() {
        py::initialize_interpreter();
        py::module::import("sys").attr("path").attr("append")("./python");
        m_image_utils = py::module::import("image_utils");
    }
    
    ~PythonImageProcessor() {
        py::finalize_interpreter();
    }
    
    cv::Mat processImage(const cv::Mat& input, const std::string& filter) {
        // 转换cv::Mat到Python对象
        py::object py_image = py::cast(input);
        
        // 调用Python函数
        py::object result = m_image_utils.attr("apply_filter")(py_image, filter);
        
        // 转换回cv::Mat
        return result.cast<cv::Mat>();
    }

private:
    py::module m_image_utils;
};

3.5 CMake配置

CMakeLists.txt:

cmake复制cmake_minimum_required(VERSION 3.4)
project(CppPythonIntegration)

find_package(Python3 COMPONENTS Interpreter Development REQUIRED)
find_package(OpenCV REQUIRED)

# 获取pybind11
add_subdirectory(${CMAKE_CURRENT_SOURCE_DIR}/extern/pybind11)

add_library(pybindings STATIC src/pybindings.cpp)
target_link_libraries(pybindings PRIVATE pybind11::embed Python3::Python OpenCV::OpenCV)

add_executable(main src/main.cpp)
target_link_libraries(main PRIVATE pybindings)

3.6 主程序实现

src/main.cpp:

cpp复制#include "pybindings.h"
#include <iostream>

int main() {
    try {
        PythonImageProcessor processor;
        
        cv::Mat image = cv::imread("input.jpg");
        if(image.empty()) {
            std::cerr << "Failed to load image" << std::endl;
            return 1;
        }
        
        auto filtered = processor.processImage(image, "edge");
        cv::imwrite("output.jpg", filtered);
        
        std::cout << "Image processing completed" << std::endl;
    } catch (const std::exception& e) {
        std::cerr << "Error: " << e.what() << std::endl;
        return 1;
    }
    
    return 0;
}

4. 高级技巧与性能优化

4.1 避免频繁的Python/C++数据转换

数据在Python和C++之间传递会产生复制开销。对于大型数据结构（如图像、矩阵），应该：

使用内存视图共享数据：

cpp复制py::array_t<uint8_t> mat_to_array(const cv::Mat& mat) {
    return py::array_t<uint8_t>(
        {mat.rows, mat.cols, mat.channels()},
        {mat.step[0], mat.step[1], sizeof(uint8_t)},
        mat.data
    );
}

对于数值计算，考虑使用NumPy的数组接口：

cpp复制py::module np = py::module::import("numpy");
py::array result = np.attr("zeros")(py::make_tuple(100, 100), "d");

4.2 多线程环境下的正确使用

Python有全局解释器锁(GIL)，在多线程环境中需要注意：

在C++线程中调用Python前必须获取GIL：

cpp复制void thread_func() {
    py::gil_scoped_acquire acquire;
    // 安全的Python调用
}

长时间运行的Python代码应该定期释放GIL：

cpp复制PYBIND11_MODULE(example, m) {
    m.def("long_running_op", []() {
        py::gil_scoped_release release;
        // 长时间计算
        py::gil_scoped_acquire acquire;
        return result;
    });
}

4.3 错误处理与异常转换

将Python异常转换为C++异常：

cpp复制try {
    py::object result = py::eval("1/0");
} catch (py::error_already_set& e) {
    std::cerr << "Python error: " << e.what() << std::endl;
    e.restore();  // 让Python知道异常已被处理
}

自定义异常类型：

cpp复制class MyException : public std::runtime_error {
    using std::runtime_error::runtime_error;
};

PYBIND11_MODULE(example, m) {
    py::register_exception<MyException>(m, "MyException");
}

5. 常见问题与解决方案

5.1 Python模块导入失败

症状：ImportError: No module named 'xxx'

解决方案：

确保Python路径正确：

cpp复制py::module::import("sys").attr("path").attr("append")("/path/to/module");

检查Python环境是否匹配：

cpp复制// 打印Python路径
auto sys = py::module::import("sys");
std::cout << "Python path: " << sys.attr("path").cast<py::list>() << std::endl;

5.2 内存泄漏问题

症状：程序运行时间越长内存占用越高

调试方法：

使用Python的gc模块检查引用：

cpp复制auto gc = py::module::import("gc");
gc.attr("collect")();  // 强制垃圾回收
auto objects = gc.attr("get_objects")();  // 获取所有对象

确保所有py::object在不再需要时被释放

5.3 性能瓶颈分析

诊断工具：

Python的cProfile：

cpp复制auto profile = py::module::import("cProfile");
auto stats = profile.attr("runctx")("func(args)", "globals()", "locals()");
stats.attr("print_stats")();

C++的性能分析工具（如perf、VTune）

5.4 版本兼容性问题

症状：在不同环境表现不一致