TLD最终学习 文档.docx

TMD（tracking，modelinganddetection）——>TLD(Learning)
区别：
1、Modeling
（1）modeling中利用两个时间对目标的外观进行学习描述，一个是增长事件，一个是修剪事件。通过增长事件将跟踪到的目标的新的外观特征增加到学习训练样本中；而通过修剪事件对样本中的杂质进行消除。
（2）Growingevents
与起始待跟踪目标图像相似的图像块，均被加入到在线模型
如果当前帧的跟踪目标图像与前一帧的相似，则将当前的跟踪结果图像加入到在线模型
计算跟踪轨迹上的目标图像到在线模型间的距离，选择具有特定模式的目标图像，即起初目标图像与在线模型的距离较小，随之距离逐渐增大，而后距离又恢复成较小状态。循环检验是否存在这种模式，并将该模式内的目标图像加入到在线模型
（3）Pruningevents：修剪事件假设每帧只有一个目标，当跟踪器和检测器都认可目标位置时，剩余的检测图像就被认为是错误样本，从在线模型中删除。
2、Learning——P-NLearning：PN学习的关键在于两种类型的“专家(experts)”。这一步骤的目的是利用跟踪预测结果提升检测器的能力。

P-experts将那些被分类器标记为负样本，但根据结构性约束条件应该为正样本的那些样本赋予“正”的标签，并添加到训练样本集中；而N-experts则将那些被分类器标记为正样本，但根据结构性约束条件应该为负样本的那些样本赋予“负”的标签，并添加到训练样本集当中。
P-N学习样例：

在程序中的学习：与最原始的模型进行匹配，如果没有匹配上，但相似度很到，直接更新原始的模型；若匹配上且相似度高，直接添加都后面。这里有不明白的地方：对最近邻分类器的训练

TLD基本框架

跟踪器
利用金字塔LK光流法跟踪特征点（在跟踪框中均匀采样10*10=100个特征点（网格均匀撒点）），筛选出速度小于中值速度且匹配相似度大于中值相似度的点。
检测器
TLD的检测分类器有三部分：方差分类器模块、集合分类器模块和最近邻分类器模块；这三个分类器是级联的。当前帧的每一个扫描窗口依次通过上面三个分类器，全部通过才被认为含有前景目标。
方差分类器模块：利用积分图计算每个待检测窗口的方差，方差大于var阈值（目标patch方差的50%）的，则认为其含有前景目标，通过该模块的进入集合分类器模块；
集合分类器模块：集合分类器（随机森林）共有10颗树（基本分类器），每棵树13个判断节点，每个判断节点经比较得到一个二进制位0或者1，这样每棵树就对应得到一个13位的二进制码x（叶子），这个二进制码x对应于一个后验概率P(y|x)。那么整一个集合分类器（共10个基本分类器）就有10个后验概率了，将10个后验概率进行平均，如果大于阈值（开始设经验值0.65）的话，就认为该图像片含有前景目标；
最近邻分类器模块：将图像块缩放为15X15大小，计算该图像块与在线模型的相关相似度与保守相似度，若相关相似度大于阈值，则认为含有前景目标。

TLD初始化：得到跟踪框的初始位置box
获取扫描检测框——得到所有的需要检测的窗口，并计算每一个检测的窗口与跟踪框的重叠度（重叠度定义为两个box的交集与它们的并集的比），将结果存放在grid中（扫描策略：步长为宽高的10%，尺度缩放系数为1.2，步长取当前尺度高度的最小值的10%）；
从grid中选择与box重叠率大的前num_closest_init个（10）个窗口存放在good_boxes容器中，把重叠率小于0.2的窗口全部放在bad_boxes中；并获得重叠率最高的窗口best_box；
将best_box区域的图像片归一化为均值为的*15大小的patch，存放在pEx中；对图像进行仿射变换num_warps_init次（20），得到仿射变化后good_boxes中窗口的不同样本（已计算了特征fern（13位的二进制代码）），存放在pX中，即pX有200个正样本；
将bad_boxes中方差大于best_box方差的50%的窗口图像片添加到负样本容器nX中（已计算了特征fern（13位的二进制代码）），然后在nX中随机取100个负样本存放与nEX中；
调整样本集：nX取一半训练，另一半用于测试存放与nXT中，同样，nEx取一半训练（50），另一半用于测试存放与nEXT中。将nX与pX合并到ferns_data容器中，将pEx与nEx合并到nn_data容器中；
集合分类器的训练
对每一个样本ferns_data[i]，如果样本是正样本标签，先用measure_forest函数返回该样本所有树的所有特征值对应的后验概率累加值，该累加值如果小于正样本阈值0.6，也就是输入的是正样本，却被分类成负样本了，出现了分类错误，所以就把该样本添