背景
使用的特定的设备进行深度学习模型的推理，该机器仅仅提供了C++封装好的API进行模型的加载启动与推理，模型的训练依然是使用caffe，模型需要转化成该设备支持的格式，模型的转化这里就不在介绍。为了把模型的推理做成一种服务，只能上手C++，搭建HTTP服务，使得用户通过http服务post一张图片，服务器启动模型推理，实现模型的预测，并把结果返回给客户端。
整体框架
服务短的服务内容就是对接收的图片进行预处理，然后进行模型的推理，目前需要做的一点就是引入HTTP服务
前期调研
对于一个C++新手，前期调研当然是先进行搜索，http server c++搜处理的结果也是五花八门，有的是教你如何通过实现一个http服务器,有的是一个用第三方库，有的是直接怼一堆代码。。。知道在stackoverflow上看到了：
why
not try NGINX with fcgi-function mapping"text-align: left">实现步骤
nginx这个是做代理的神器，做负载均衡的时候也经常用，只要我的客户端的内容发送的nginx上，然后nginx把数据转发给fcgi相关的应用就可以，我需要做的就是把fcgi和我的推理程序结合起来就可以。
nginx
简单说nginx就是中间商，客户端把请求发给中间商，中间商去货源地把货拿上，让后给客户回应：
客户告诉nginx 我要购买**商品，nginx就去对于的服务提供商取出对于服务并把它返回给客户。
目前需要的就是实现fcgi 部分，那么什么是fcgi"text-align: center">
这里的标准输入输出是对应的一些环境变量主要包含有与请求相关的环境变量，与服务器相关的环境变量，与客户端相关的环境变量三大类。
fastcgi
FastCGI 实际上是增加了一些扩展功能的 CGI 、是 CGI 的改进，同样也是描述客户端和Web服务器程序之间传输数据的一种标准。
FastCGI 致力于减少Web服务器与CGI程序之间进行互动的开销，从而使Web服务器可以同时处理更多的Web请求。与 CGI 为每个Web请求创建一个新的进程不同， FastCGI 使用持续的进程来处理一连串的Web请求，这些进程由FastCGI进程管理器管理，而不是Web服务器。
为什么说是减少了互动的开销呢？这就要看两种处理方式的区别！
cgi的工作流程：
每当客户端发出一个新的请求，首先要创建一个cgi子进程，然后cgi处理完请求，有多少个连接就会有多少个cgi子进程启动，当请求量大的时候会占用大量的系统资源。
fastcgi
fastcgi 是使用持续的进程处理一连串的请求，这些进程有fastcgi的进程管理器来进行管理具体流程如下所示：
也可以这样比喻：
cgi在卖鸡蛋灌饼，等到顾客要吃的时候，他开始点火，打鸡蛋，摊饼，然后熄火。然后等待下一个顾客
fastcgi就是早餐店老版，雇佣了一帮服务员，专门做需要现场做的饭，老板只需要把订单安排下去，服务员负责盛粥煎饼。
具体步骤
- 搭建c++的开发环境
- 搭建nginx
- 安装fastcgi
- 安装fastcgi的进程管理器spawn-cgi
- 编写运行程序
- 编译运行
工欲善其事，必先利其器，首先搭建环境把！
通过阅读不少的博客内容找到了最简单的安装步骤，好多都是通过下载源代码，然后通过make进行编译，不过对于这些比较常用的库，软件包中已经集成了。
C++开发环境安装
apt-get install build-essential
nginx
apt-get install nginx
fastcgi
sudo apt-get install libfcgi-dev
spawn-fcgi
apt-get install spawn-fcgi
编写运行程序
#include <iostream>
#include "fcgio.h"
using namespace std;
int main(void) {
// Backup the stdio streambufs
streambuf * cin_streambuf = cin.rdbuf();
streambuf * cout_streambuf = cout.rdbuf();
streambuf * cerr_streambuf = cerr.rdbuf();
FCGX_Request request;
FCGX_Init();
FCGX_InitRequest(&request, 0, 0);
while (FCGX_Accept_r(&request) == 0) {
fcgi_streambuf cin_fcgi_streambuf(request.in);
fcgi_streambuf cout_fcgi_streambuf(request.out);
fcgi_streambuf cerr_fcgi_streambuf(request.err);
cin.rdbuf(&cin_fcgi_streambuf);
cout.rdbuf(&cout_fcgi_streambuf);
cerr.rdbuf(&cerr_fcgi_streambuf);
cout << "Content-type: text/html\r\n"
<< "\r\n"
<< "<html>\n"
<< " <head>\n"
<< " <title>Hello, World!</title>\n"
<< " </head>\n"
<< " <body>\n"
<< " <h1>Hello, World!</h1>\n"
<< " </body>\n"
<< "</html>\n";
}
cin.rdbuf(cin_streambuf);
cout.rdbuf(cout_streambuf);
cerr.rdbuf(cerr_streambuf);
return 0;
编译程序
g++ cgi.cpp -o cgidemo -lfcgi
修改nginx 配置文件
vi /usr/local/nginx/conf/nginx.conf
启动nginx
nginx -c /usr/local/nginx/conf/nginx.conf
通过浏览器验证nginx是否正常启动http://*******:80
启动spwan-cgi进程
spawn-fcgi -a 127.0.0.1 -C 20 -p 7070 ./cgidemo
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。