EasyPR--开发详解（6）SVM开发详解

图1 从候选车牌中选出真正的车牌

简单来说，EasyPR的车牌判断模块就是将候选车牌的图片一张张地输入到SVM模型中，然后问它，这是车牌么？如果SVM模型回答不是，那么就继续下一张，如果是，则把图片放到一个输出列表里。最后把列表输入到下一步处理。由于EasyPR使用的是列表作为输出，因此它可以输出一副图片中所有的车牌，不像一些车牌识别程序，只能输出一个车牌结果。

图2 EasyPR输出多个车牌

现在，让我们一步步地，进入这个SVM模型的核心看看，它是如何做到判断一副图片是车牌还是不是车牌的？本文主要分为三个大的部分：

1. SVM应用：描述如何利用SVM模型进行车牌图片的判断。
2. SVM训练：说明如何通过一系列步骤得到SVM模型。
3. SVM调优：讨论如何对SVM模型进行优化，使其效果更加好。

一.SVM应用

人类是如何判断一个张图片所表达的信息呢？简单来说，人类在成长过程中，大脑记忆了无数的图像，并且依次给这些图像打上了标签，例如太阳，天空，房子，车子等等。你们还记得当年上幼儿园时的那些教科书么，上面一个太阳，下面是文字。图像的组成事实上就是许多个像素，由像素组成的这些信息被输入大脑中，然后得出这个是什么东西的回答。我们在SVM模型中一开始输入的原始信息也是图像的所有像素，然后SVM模型通过对这些像素进行分析，输出这个图片是否是车牌的结论。

图3 通过图像来学习

SVM模型处理的是最简单的情况，它只要回答是或者不是这个“二值”问题，比从许多类中检索要简单很多。

我们可以看一下SVM进行判断的代码：

int CPlateJudge::plateJudge(const vector<Mat>& inVec,           vector<Mat>& resultVec) {  int num = inVec.size();  for (int j = 0; j < num; j++)  {   Mat inMat = inVec[j];   Mat p = histeq(inMat).reshape(1, 1);   p.convertTo(p, CV_32FC1);   int response = (int)svm.predict(p);   if (response == 1)   {    resultVec.push_back(inMat);   }  }  return 0; } 

View Code

首先我们读取这幅图片，然后把这幅图片转为OPENCV需要的格式；

Mat p = histeq(inMat).reshape(1, 1);     p.convertTo(p, CV_32FC1);

接着调用svm的方法predict；

int response = (int)svm.predict(p);

perdict方法返回的值是1的话，就代表是车牌，否则就不是；

if (response == 1)     {         resultVec.push_back(inMat);     }

svm是类CvSVM的一个对象。这个类是opencv里内置的一个机器学习类。

CvSVM svm;

opencv的CvSVM的实现基于libsvm（具体信息可以看opencv的官方文档的 介绍 ）。

libsvm是台湾大学林智仁(Lin Chih-Jen)教授写的一个世界知名的svm库(可能算是目前业界使用率最高的一个库)。官方主页地址是 这里 。

libsvm的实现基于SVM这个算法，90年代初由Vapnik等人提出。国内几篇较好的解释svm原理的博文：cnblog的LeftNotEasy(解释的易懂)，pluskid的 博文 (专业有配图)。

作为支持向量机的发明者，Vapnik是一位机器学习界极为重要的大牛。 最近这位大牛也加入了Facebook 。

图4 SVM之父Vapnik

图5 model文件夹下的svm.xml

如果看CPlateJudge的代码，在构造函数中调用了LoadModel()这个方法。

CPlateJudge::CPlateJudge() {     //cout << "CPlateJudge" << endl;     m_path = "model/svm.xml";     LoadModel(); }

LoadModel()方法的主要任务就是装载model文件夹下svm.xml这个模型。

void CPlateJudge::LoadModel() {     svm.clear();     svm.load(m_path.c_str(), "svm"); }

EasyPR中所有关于训练的方法都可以在 svm_train.cpp 中找到(1.0版位于train/code文件夹下，1.1版位于src/train文件夹下)。

一个训练过程包含5个步骤，见下图：

图6 一个完整的SVM训练流程

预处理步骤主要处理的是原始数据到学习数据的转换过程。原始数据（raw data)，表示你一开始拿到的数据。这些数据的情况是取决你具体的环境的，可能有各种问题。学习数据（learn data），是可以被输入到模型的数据。

为了能够进入模型训练，必须将原始数据处理为学习数据，同时也可能进行了数据的筛选。比方说你有10000张原始图片，出于性能考虑，你只想用1000张图片训练，那么你的预处理过程就是将这10000张处理为符合训练要求的1000张。你生成的1000张图片中应该包含两类数据：真正的车牌图片和不是车牌的图片。如果你想让你的模型能够区分这两种类型。你就必须给它输入这两类的数据。

贴标签后的车牌数据如下图：

图7 在HasPlate文件夹下的图片

贴标签后的非车牌数据下图：

图8 在NoPlate文件夹下的图片

分组这个过程是EasyPR1.1版新引入的方法。

在贴完标签以后，我拥有了车牌图片和非车牌图片共几千张。在我直接训练前，不急。先拿出30%的数据，只用剩下的70%数据进行SVM模型的训练，训练好的模型再用这30%数据进行一个效果测试。这30%数据充当的作用就是一个评判数据测试集，称之为test data，另70%数据称之为train data。于是一个完整的learn data被分为了train data和test data。

图9 数据分组过程

在EasyPR1.0版是没有test data概念的，所有数据都输入训练，然后直接在原始的数据上进行测试。直接在原始的数据集上测试与单独划分出30%的数据测试效果究竟有多少不同？

事实上，我们训练出模型的根本目的是为了对未知的，新的数据进行预测与判断。

图10 分组后的文件树

模型在代码里的代表就是CvSVM类。在这一步中所要做的就是加载train data，然后用CvSVM类的train方法进行训练。这个步骤只针对的是上步中生成的总数据70%的训练数据。

void getPlate(Mat& trainingImages, vector<int>& trainingLabels) {  char * filePath = "train/data/plate_detect_svm/HasPlate/HasPlate";  vector<string> files;  getFiles(filePath, files );  int size = files.size();  if (0 == size)   cout << "No File Found in train HasPlate!" << endl;  for (int i = 0;i < size;i++)  {   cout << files[i].c_str() << endl;   Mat img = imread(files[i].c_str());   img= img.reshape(1, 1);     trainingImages.push_back(img);     trainingLabels.push_back(1);  } }   

View Code

void getNoPlate(Mat& trainingImages, vector<int>& trainingLabels) {  char * filePath = "train/data/plate_detect_svm/NoPlate/NoPlate";  vector<string> files;  getFiles(filePath, files );  int size = files.size();  if (0 == size)   cout << "No File Found in train NoPlate!" << endl;  for (int i = 0;i < size;i++)  {   cout << files[i].c_str() << endl;   Mat img = imread(files[i].c_str());   img= img.reshape(1, 1);     trainingImages.push_back(img);     trainingLabels.push_back(0);  } } 

View Code

3) 将两者合并。目前拥有了两个vector<Mat>和两个vector<int>。将代表车牌图片和非车牌图片数据的两个vector<Mat>组成一个新的Mat--trainingData，而代表车牌图片与非车牌图片标签的两个vector<int>组成另一个Mat--classes。接着做一些数据类型的调整，以让其符合svm训练函数train的要求。这些做完后，数据的准备工作基本结束，下面就是参数配置的工作。

Mat classes;//(numPlates+numNoPlates, 1, CV_32FC1);  Mat trainingData;//(numPlates+numNoPlates, imageWidth*imageHeight, CV_32FC1 );   Mat trainingImages;  vector<int> trainingLabels;  getPlate(trainingImages, trainingLabels);  getNoPlate(trainingImages, trainingLabels);  Mat(trainingImages).copyTo(trainingData);  trainingData.convertTo(trainingData, CV_32FC1);  Mat(trainingLabels).copyTo(classes); 

View Code

4) 配置SVM模型的训练参数。SVM模型的训练需要一个CvSVMParams的对象，这个类是SVM模型中训练对象的参数的组合，如何给这里的参数赋值，是很有讲究的一个工作。注意，这里是SVM训练的核心内容，也是最能体现一个机器学习专家和新手区别的地方。机器学习最后模型的效果差异有很大因素取决与模型训练时的参数，尤其是SVM，有非常多的参数供你配置(见下面的代码)。参数众多是一个问题，更为显著的是，机器学习模型中参数的一点微调都可能带来最终结果的巨大差异。

 CvSVMParams SVM_params;  SVM_params.svm_type = CvSVM::C_SVC;  SVM_params.kernel_type = CvSVM::LINEAR; //CvSVM::LINEAR;  SVM_params.degree = 0;  SVM_params.gamma = 1;  SVM_params.coef0 = 0;  SVM_params.C = 1;  SVM_params.nu = 0;  SVM_params.p = 0;  SVM_params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 1000, 0.01); 

opencv官网文档对CvSVMParams类的各个参数有一个详细的解释。如果你上过SVM课程的理论部分，你可能对这些参数的意思能搞的明白。但在这里，我们可以不去管参数的含义，因为我们有更好的方法去解决这个问题。

图11 SVM各参数的作用

这个原因在于：EasyPR1.0使用的是liner核，也称之为线型核，因此degree和gamma还有coef0三个参数没有作用。同时，在这里SVM模型用作的问题是分类问题，那么nu和p两个参数也没有影响。最后唯一能影响的参数只有Cvalue。到了EasyPR1.1版本以后，默认使用的是RBF核，因此需要调整的参数多了一个gamma。

以上参数的选择都可以用自动训练(train_auto)的方法去解决，在下面的SVM调优部分会具体介绍train_auto。

5) 开始训练。OK！数据载入完毕，参数配置结束，一切准备就绪，下面就是交给opencv的时间。我们只要将前面的 trainingData，classes，以及CvSVMParams的对象SVM_params交给CvSVM类的train函数就可以。另外，直接使用CvSVM的构造函数，也可以完成训练过程。例如下面这行代码：

CvSVM svm(trainingData, classes, Mat(), Mat(), SVM_params);

FileStorage fsTo("train/svm.xml", cv::FileStorage::WRITE);     svm.write(*fsTo, "svm");

5. test（测试数据->评判指标）

准确率是统计在我已经预测为车牌的图片中，真正车牌数据所占的比例。假设我们用ptrue_rtrue表示预测(p)为车牌并且实际(r)为车牌的数量，而用ptrue_rfalse表示实际不为车牌的数量。

准确率的计算公式是：

图12 precise 准确率

查全率是统计真正的车牌图片中，我预测为车牌的图片所占的比例。同上，我们用ptrue_rtrue表示预测与实际都为车牌的数量。用pfalse_rtrue表示实际为车牌，但我预测为非车牌的数量。

查全率的计算公式是：

图13 recall 查全率

recall的公式与precision公式唯一的区别在于右下角。precision是ptrue_rfalse，代表预测为车牌但实际不是的数量；而recall是pfalse_rtrue，代表预测是非车牌但其实是车牌的数量。

简单来说，precision指标的期望含义就是要“ 查的准 ”，recall的期望含义就是“ 不要漏 ”。查全率还有一个翻译叫做“召回率”。但很明显，召回这个词没有反映出查全率所体现出的不要漏的含义。

值得说明的是，precise和recall这两个值自然是越高越好。但是如果一个高，一个低的话效果会如何，如何跟两个都中等的情况进行比较？为了能够数字化这种比较。机器学习界又引入了FScore这个数值。当precise和recall两者中任一者较高，而另一者较低是，FScore都会较低。两者中等的情况下Fscore表现比一高一低要好。当两者都很高时，FScore会很高。

FScore的计算公式如下图：

图14 Fscore计算公式

模型测试以及评价指标是EasyPR1.1中新增的功能。在 svm_train.cpp 的最下面可以看到这三个指标的计算过程。

训练心得

在1.1版本中的EasyPR的车牌定位模块仍然不够完善。如果你的所有的图片符合某种通用的模式，参照前面的车牌定位的几篇教程，以及使用EasyPR新增的Debug模式，你可以将EasyPR的plateLocate模块改造为适合你的情况。于是，你就可以利用EasyPR为你制造大量的学习数据。通过原始数据的输入，然后通过plateLocate进行定位，再使用EasyPR已有的车牌判断模块进行图片的分类，于是你就可以得到一个基本分好类的学习数据。下面所需要做的就是人工核对，确认一下，保证每张图片的标签是正确的，然后再输入模型进行训练。

2. 使用“逐次迭代自动标签法”。

上面讨论的贴标签方法是在EasyPR已经提供了一个训练好的模型的情况下。如果一开始手上任何模型都没有，该怎么办？假设目前手里有成千上万个通过定位出来的各种候选车牌，手工一个个贴标签的话，岂不会让人累吐血？在前文中说过，我在一开始贴标签过程中碰到了这个问题，在不断被折磨与痛苦中，我发现了一个好方法，大幅度减轻了这整个工作的痛苦性。

当然，这个方法很简单。我如果说出来你一定也不觉得有什么奇妙的。但是如果在你准备对1000张图片进行手工贴标签时，相信我，使用这个方法会让你最后的时间节省一半。如果你需要雇10个人来贴标签的话，那么用了这个方法，可能你最后一个人都不用雇。

这个方法被我称为“逐次迭代自动标签法”。

方法核心很简单。就是假设你有3000张未分类的图片。你从中选出1%，也就是30张出来，手工给它们每个图片进行分类工作。好的，如今你有了30张贴好标签的数据了，下步你把它直接输入到SVM模型中训练，获得了一个简单粗旷的模型。之后，你从图片集中再取出3%的图片，也就是90张， 然后用刚训练好的模型对这些图片进行预测 ，根据预测结果将它们自动分到hasplate和noplate文件夹下面。分完以后，你到这两个文件夹下面，看看哪些是预测错的，把hasplate里预测错的 移动 到noplate里，反之，把noplate里预测错的移动到hasplate里。

接着，你把一开始手工分类好的那30张图片，结合调整分类的90张图片，总共120张图片再输入svm模型中进行训练。于是你获得一个比最开始粗旷模型更精准点的模型。然后，你从3000张图片中再取出6%的图片来，用这个模型再对它们进行预测，分类....

以上反复。你每训练出一个新模型，用它来预测后面更多的数据，然后自动分类。这样做最大的好处就是你只需要移动那些被分类错误的图片。其他的图片已经被正 确的归类了。注意，在整个过程中，你每次只需要对新拿出的数据进行人工确认，因为前面的数据已经分好类了。因此，你最好使用两个文件夹，一个是已经分好类 的数据，另一个是自动分类数据，需要手工确认的。这样两者不容易乱。

每次从未标签的原始数据库中取出的数据不要多，最好不要超过上次数据的两倍。这样可以保证你的模型的准确率稳步上升。如果想一口吃个大胖子，例如用30张图片训练出的模型，去预测1000张数据，那最后结果跟你手工分类没有任何区别了。

整个方法的原理很简单，就是 不断迭代循环细化 的思想。跟软件工程中迭代开发过程有异曲同工之妙。你只要理解了其原理，很容易就可以复用在任何其他机器学习模型的训练中，从而大幅度（或者部分）减轻机器学习过程中贴标签的巨大负担。

回到一个核心问题，对于开发者而言，什么样的方法才是自己实现一个svm.xml的最好方法。有以下几种选择。

1.你使用EasyPR提供的svm.xml，这个方式等同于你没有训练，那么EasyPR识别的效率取决于你的环境与EasyPR的匹配度。运气好的话，这个效果也会不错。但如果你的环境下车牌跟EasyPR默认的不一样。那么可能就会有点问题。

2.使用EasyPR提供的训练数据，例如train/data文件下的数据，这样生成的效果等同于第一步的，不过你可以调整参数，试试看模型的表现会不会更好一点。

简单来说，低维空间到高维空间映射带来的好处就是可以利用高维空间的线型切割模拟低维空间的非线性分类效果。也就是说，SVM模型其实只能做线型分类，但是在线型分类前，它可以通过核技巧把数据映射到高维，然后在高维空间进行线型切割。高维空间的线型切割完后在低维空间中最后看到的效果就是划出了一条复杂的分线型分类界限。 从这点来看，SVM并没有完成真正的非线性分类，而是通过其它方式达到了类似目的，可谓“曲径通幽”。

SVM模型总共可以支持多少种核呢。根据官方文档，支持的核类型有以下几种：

1. liner核，也就是无核。
2. rbf核，使用的是高斯函数作为核函数。
3. poly核，使用多项式函数作为核函数。
4. sigmoid 核，使用sigmoid函数作为核函数。

liner核和rbf核是所有核中应用最广泛的。

liner核，虽然名称带核，但它其实是无核模型，也就是没有使用核函数对数据进行转换。因此，它的分类效果仅仅比逻辑回归好一点。在EasyPR1.0版中，我们的SVM模型应用的是liner核。我们用的是图像的全部像素作为特征。

rbf核，会将输入数据的特征维数进行一个维度转换，具体会转换为多少维？这个等于你输入的训练量。假设你有500张图片，rbf核会把每张图片的数据转 换为500维的。如果你有1000张图片，rbf核会把每幅图片的特征转到1000维。这么说来，随着你输入训练数据量的增长，数据的维数越多。更方便在高维空间下的分类效果，因此最后模型效果表现较好。

既然选择SVM作为模型，而且SVM中核心的关键技巧是核函数，那么理应使用带核的函数模型，充分利用数据高维化的好处，利用高维的线型分类带来低维空间下的非线性分类效果。但是，rbf核的使用是需要条件的。

当你的数据量很大，但是每个数据量的维度一般时，才适合用rbf核。相反，当你的数据量不多，但是每个数据量的维数都很大时，适合用线型核。

在EasyPR1.0版中，我们用的是图像的全部像素作为特征，那么根据车牌图像的136×36的大小来看的话，就是4896维的数据，再加上我们输入的 是彩色图像，也就是说有R，G，B三个通道，那么数量还要乘以3，也就是14688个维度。这是一个非常庞大的数据量，你可以把每幅图片的数据理解为长度 为14688的向量。这个时候，每个数据的维度很大，而数据的总数很少，如果用rbf核的话，相反效果反而不如无核。

在EasyPR1.1版本时，输入训练的数据有3000张图片，每个数据的特征改用直方统计，共有172个维度。这个场景下，如果用rbf核的话，就会将每个数据的维度转化为与数据总数一样的数量，也就是3000的维度，可以充分利用数据高维化后的好处。

因此可以看出，为了让EasyPR新版使用rbf核技巧，我们给训练数据做了增加，扩充了两倍的数据，同时，减小了每个数据的维度。以此满足了rbf核的使用条件。通过使用rbf核来训练，充分发挥了非线性模型分类的优势，因此带来了较好的分类效果。

但是，使用rbf核也有一个问题，那就是参数设置的问题。在rbf训练的过程中，参数的选择会显著的影响最后rbf核训练出模型的效果。因此必须对参数进行最优选择。

2.参数调优

传统的参数调优方法是人手完成的。机器学习工程师观察训练出的模型与参数的对应关系，不断调整，寻找最优的参数。由于机器学习工程师大部分时间在调整模型的参数，也有了“ 机器学习就是调参 ”这个说法。

幸好，opencv的svm方法中提供了一个自动训练的方法。也就是由opencv帮你，不断改变参数，训练模型，测试模型，最后选择模型效果最好的那些参数。整个过程是全自动的，完全不需要你参与，你只需要输入你需要调整参数的参数类型，以及每次参数调整的步长即可。

现在有个问题，如何验证svm参数的效果？你可能会说，使用训练集以外的那30%测试集啊。但事实上，机器学习模型中专门有一个数据集，是用来验证参数效果的。也就是 交叉验证集(cross validation set，简称validate data)   这个概念。

感谢train_auto函数！既帮我们划分了参数验证的数据集，还帮我们一步步调整参数，最后选择效果最好的那个参数，可谓是节省了调优过程中80%的工作。

train_auto函数的调用代码如下：

svm.train_auto(trainingData, classes, Mat(), Mat(), SVM_params, 10,   CvSVM::get_default_grid(CvSVM::C),  CvSVM::get_default_grid(CvSVM::GAMMA),   CvSVM::get_default_grid(CvSVM::P),   CvSVM::get_default_grid(CvSVM::NU),   CvSVM::get_default_grid(CvSVM::COEF),  CvSVM::get_default_grid(CvSVM::DEGREE),  true); 

你唯一需要做的就是泡杯茶，翻翻书，然后慢慢等待这计算机帮你处理好所有事情(时间较长，因为每次调整参数又得重新训练一次)。作者最近的一次训练的耗时为1个半小时)。

// ! EasyPR的getFeatures回调函数 // ！本函数是获取垂直和水平的直方图图值 void getHistogramFeatures(const Mat& image, Mat& features) {  Mat grayImage;  cvtColor(image, grayImage, CV_RGB2GRAY);  Mat img_threshold;  threshold(grayImage, img_threshold, 0, 255, CV_THRESH_OTSU+CV_THRESH_BINARY);  features = getTheFeatures(img_threshold); } 

我们输入数据的特征不再是全部的三原色的像素值了，而是抽取过的一些特征。从原始的图像到抽取后的特征的过程就被称为特征提取的过程。在1.0版中没有特征提取的概念，是直接把图像中全部像素作为特征的。这要感谢群里的“如果有一天”同学，他坚持认为全部像素的输入是最低级的做法，认为用特征提取后的效果会好多。我问大概能到多少准确率，当时的准确率有92%，我以为已经很高了，结果他说能到99%。在半信半疑中我尝试了，果真如他所说，结合了rbf核与新特征训练的模型达到的precise在99%左右，而且recall也有98%，这真是个令人咋舌并且非常惊喜的成绩。

“如果有一天”建议用的是SFIT特征提取或者HOG特征提取，由于时间原因，这两者我没有实现，但是把函数留在了那里。留待以后有时间完成。在这个过程中，我充分体会到了开源的力量，如果不是把软件开源，如果不是有这么多优秀的大家一起讨论，这样的思路与改善是不可能出现的。

4.接口函数

由于有SIFT以及HOG等特征没有实现，而且未来有可能会有更多有效的特征函数出现。因此我把特征函数抽象为借口。使用回调函数的思路实现。所有回调函数的代码都在feature.cpp中，开发者可以实现自己的回调函数，并把它赋值给EasyPR中的某个函数指针，从而实现自定义的特征提取。也许你们会有更多更好的特征的想法与创意。

关于特征其实有更多的思考，原始的SVM模型的输入是图像的全部像素，正如人类在小时候通过图像识别各种事物的过程。后来SVM模型的输入是经过抽取的特 征。正如随着人类接触的事物越来越多，会发现单凭图像越来越难区分一些非常相似的东西，于是学会了总结特征。例如太阳就是圆的，黄色，在天空等，可以凭借 这些特征就进行区分和判断。

从本质上说，特征是区分事物的关键特性。这些特性，一定是从某些维度去看待的。例如，苹果和梨子，一个是绿色，一个是黄色，这就是颜色的维度；鱼和鸟，一个在水里，一个在空中，这是位置的区分，也就是空间的维度。 特征，是许多维度中最有区分意义的维度。 传统数据仓库中的OLAP，也称为多维分析，提供了人类从多个维度观察，比较的能力。通过人类的观察比较，从多个维度中挑选出来的维度，就是要分析目标的特征。从这点来看，机器学习与多维分析有了关联。多维分析提供了选择特征的能力。而机器学习可以根据这些特征进行建模。

机器学习界也有很多算法，专门是用来从数据中抽取特征信息的。例如传统的PCA(主成分分析)算法以及最近流行的深度学习中的 AutoEncoder(自动编码机)技术。这些算法的主要功能就是在数据中学习出最能够明显区分数据的特征，从而提升后续的机器学习分类算法的效果。

说一个特征学习的案例。作者买车时，经常会把大众的两款车--迈腾与帕萨特给弄混，因为两者实在太像了。大家可以到网上去搜一下这两车的图片。如果不依赖后排的文字，光靠外形实在难以将两车区分开来(虽然从生产商来说，前者是一汽大众生产的，产地在长春，后者是上海大众生产的，产地在上海。两个不同的公司，南北两个地方，相差了十万八千里)。后来我通过仔细观察，终于发现了一个明显区分两辆车的特征，后来我再也没有认错过。这个特征就是：迈腾的前脸有四条银杠，而帕萨特只有三条，迈腾比帕萨特多一条银杠。可以这么说，就是这么一条银杠，分割了北和南两个地方生产的汽车。

图15 一条银杠，分割了“北”和“南”

在这里区分的过程，我是通过不断学习与研究才发现了这些区分的特征，这充分说明了事物的特征也是可以被学习的。如果让机器学习中的特征选择方法PCA和AutoEncoder来分析的话，按理来说它们也应该找出这条银杠，否则它们就无法做到对这两类最有效的分类与判断。如果没有找到的话，证明我们目前的特征选择算法还有很多的改进空间（与这个案例类似的还有大众的另两款车，高尔夫和Polo。它们两的区分也是用同样的道理。相比迈腾和帕萨特，高尔夫和Polo价格差别的更大，所以区分的特征也更有价值）。

图16 svm训练命令行

让我们回顾一下SVM调优的五个思路。第一部分是rbf核，也就是模型选择层次，根据你的实际环境选择最合适的模型。第二部分是参数调优，也就是参数优化层次，这部分的参数最好通过一个验证集来确认，也可以使用opencv自带的train_auto函数。第三部分是特征抽取部分，也就是特征甄选们，要能选择出最能反映数据本质区别的特征来。在这方面，pca以及深度学习技术中的autoencoder可能都会有所帮助。第四部分是通用接口部分，为了给优化留下空间，需要抽象出接口，方便后续的改进与对比。第五部分是自动化部分，为了节省时间，将大量可以自动化处理的功能模块化出来，然后提供一些方便的操作界面。前三部分是从机器学习的效果来提高，后两部分是从软件工程的层面去优化。

总结起来，就是 模型，参数，特征，接口，模块 五个层面。通过这五个层面，可以有效的提高机器学习模型训练的效果与速度，从而降低机器学习工程实施的难度与提升相关的效率。当需要对机器学习模型进行调优的时候，我们可以从这五个层面去考虑。

后记

版权说明：

本文中的所有文字，图片，代码的版权都是属于作者和博客园共同所有。欢迎转载，但是务必注明作者与出处。任何未经允许的剽窃以及爬虫抓取都属于侵权，作者和博客园保留所有权利。