作為視覺應用中最常見的任務之一，目標檢測一直是各類新模型刷榜的必爭之地，其中就以 YOLO 系列的網絡結構最為突出。YOLO 的全稱是 you only look once，指只通過 one-stage 的方式需要“瀏覽一次”就可以識別出圖中的物體的類別和位置。近期YOLO官方團隊又放出新版本——YOLOv7，速度、精度都超越其他變體。本文將分享如何基于 OpenVINO 2022.1工具套件部署 YOLOv7 官方提供的預訓練模型。附 C++/Python 源碼及使用方法。

OpenVINO 簡介

用于高性能深度學習的英特爾發行版 OpenVINO工具套件基于 oneAPI 而開發，以期在從邊緣到云的各種英特爾平臺上，幫助用戶更快地將更準確的真實世界結果部署到生產系統中。通過簡化的開發工作流程，OpenVINO可賦能開發者在現實世界中部署高性能應用程序和算法。

在推理后端，得益于 OpenVINO 工具套件提供的“一次編寫，隨處部署”特性，轉換后的模型能夠在不同的英特爾硬件平臺上運行，無需重新構建，有效簡化了構建與遷移過程。此外，為了支持更多的異構加速單元，OpenVINO的 runtime api 底層采用了插件式的開發架構，基于oneAPI 中的 MKL-DNN、oneDNN 等函數計算加速庫，針對 AVX-512 等通用指令集進行優化，為不同的硬件執行單元分別實現了一套完整的高性能算子庫，提升模型在推理運行時的整體性能表現。

YOLOv7 簡介

官方版的 YOLOv7 相同體量下比 YOLOv5 精度更高，速度快120%（FPS），比 YOLOX 快180%（FPS），比 Dual-Swin-T 快1200%（FPS），比 ConvNext 快550%（FPS），比 SWIN-L快500%（FPS）。在5FPS 到160FPS 的范圍內，無論是速度或是精度，YOLOv7 都超過了目前已知的檢測器，并且在GPU V100 上進行測試， 精度為56.8% AP的模型可達到30 FPS（batch=1）以上的檢測速率，與此同時，這是目前唯一一款在如此高精度下仍能超過 30FPS 的檢測器。

任務開發流程

我們先整體來看下 YOLOv7 的輸入輸出結構，首先對輸入的圖片 resize 為 640x640 大小，輸入到 backbone 網絡中，然后經 head 層網絡輸出三層不同 size 大小的 feature map，并輸出預測結果，這里以 coco 數據集為例子，輸出為 80 個類別，然后每個輸出(x ,y, w, h, o) 即坐標位置和是否存在物體的置信度，3 是指的 anchor 數量，因此每一層的輸出為 (80+5)x3 = 255再乘上 feature map 的大小就是最終的輸出了。整個開發流程可以分為數據處理模塊定義、前處理任務、推理任務、后處理任務四部分組成。

圖：YOLOv7官方預訓練模型的輸入輸出結構

1. 數據處理模塊

定義 Object 結構體用來存放模型的輸出數據，包含 boundingbox 信息，類別標簽，以及是否存在物體和類別的累計置信度。

定義 class_names 向量，用于存放 coco 數據集的所有標簽。

struct Object{  cv::Rect_ rect;  int label;  float prob;};
const std::vector class_names = {  "person", "bicycle", "car", "motorcycle", "airplane", "bus", "train", "truck", "boat", "traffic light",  "fire hydrant", "stop sign", "parking meter", "bench", "bird", "cat", "dog", "horse", "sheep", "cow",  "elephant", "bear", "zebra", "giraffe", "backpack", "umbrella", "handbag", "tie", "suitcase", "frisbee",  "skis", "snowboard", "sports ball", "kite", "baseball bat", "baseball glove", "skateboard", "surfboard",  "tennis racket", "bottle", "wine glass", "cup", "fork", "knife", "spoon", "bowl", "banana", "apple",  "sandwich", "orange", "broccoli", "carrot", "hot dog", "pizza", "donut", "cake", "chair", "couch",  "potted plant", "bed", "dining table", "toilet", "tv", "laptop", "mouse", "remote", "keyboard", "cell phone",  "microwave", "oven", "toaster", "sink", "refrigerator", "book", "clock", "vase", "scissors", "teddy bear",  "hair drier", "toothbrush"};

定義 letterbox 與 scale_box 模塊，分別用于在圖像前處理任務中為輸入數據添加 letterbox，以及在后處理任務還原 letterbox 帶來坐標位置變換。這里特別值得注意的是我們增加了一個 padd 向量，用于存放在添加 letterbox 過程中 letterbox 的 size 信息以及相較原始圖片的縮放比例信息，該組數據會用于在后處理任務中還原刪除 letterbox 以后的結果。

cv::Mat letterbox(cv::Mat &src, int h, int w, std::vector &padd){  // Resize and pad image while meeting stride-multiple constraints  int in_w = src.cols;  int in_h = src.rows;  int tar_w = w;  int tar_h = h;  float r = min(float(tar_h) / in_h, float(tar_w) / in_w);  int inside_w = round(in_w * r);  int inside_h = round(in_h * r);  int padd_w = tar_w - inside_w;  int padd_h = tar_h - inside_h;  cv::Mat resize_img;
  // resize  resize(src, resize_img, cv::Size(inside_w, inside_h));
  // divide padding into 2 sides  padd_w = padd_w / 2;  padd_h = padd_h / 2;  padd.push_back(padd_w);  padd.push_back(padd_h);
  // store the ratio  padd.push_back(r);  int top = int(round(padd_h - 0.1));  int bottom = int(round(padd_h + 0.1));  int left = int(round(padd_w - 0.1));  int right = int(round(padd_w + 0.1));
  // add border  copyMakeBorder(resize_img, resize_img, top, bottom, left, right, 0, cv::Scalar(114, 114, 114));  return resize_img;}
cv::Rect scale_box(cv::Rect box, std::vector &padd){    // remove the padding area  cv::Rect scaled_box;  scaled_box.x = box.x - padd[0];  scaled_box.y = box.y - padd[1];  scaled_box.width = box.width;  scaled_box.height = box.height;  return scaled_box;}

定義 generate_proposal 模塊，該模塊具體有以下幾個功能：

01

根據定義的 anchors,在輸入圖像中生成各類 feature map 的先驗框；

02

根據輸出結果調整先驗框位置和大小，并將其作為 bounding box 還原到輸入圖像的坐標系中；

03

過濾置信度較低的分類結果，獲取類別結果。

static void generate_proposals(int stride, const float *feat, float prob_threshold, std::vector