C / OpenCV – 用于视频稳定的卡尔曼滤波器

2023年10月6日 235次阅读

我尝试用卡尔曼滤波器稳定视频以进行平滑.但我有一些问题

每次,我都有两个框架：一个是当前框架,另一个是框架.
我的工作流程：

>计算goodFeaturesToTrack()
>使用calcOpticalFlowPyrLK()计算光流
>保持好点
>估计严格的转变
>使用卡尔曼滤波器进行平滑处理
>翘曲的画面.

但我认为卡尔曼有问题,因为最后我的视频仍然没有稳定,而且它根本不光滑,甚至比原版更糟糕……

这是我的卡尔曼代码

void StabilizationTestSimple2::init_kalman(double x, double y)
{

    KF.statePre.at<float>(0) = x;
    KF.statePre.at<float>(1) = y;
    KF.statePre.at<float>(2) = 0;
    KF.statePre.at<float>(3) = 0;

    KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
    KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                           0,0,0,0.3);
    setIdentity(KF.measurementMatrix);
    setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
    setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
    setIdentity(KF.errorCovPost, Scalar::all(.1));
}

在这里我如何使用它.我只把有趣的部分.所有这些代码都在flor循环中.
cornerPrev2和cornerCurr2包含之前检测到的所有要素点(使用calcOpticalFlowPyrLK())

    /// Transformation
    Mat transformMatrix = estimateRigidTransform(cornersPrev2,cornersCurr2 ,false);

    // in rare cases no transform is found. We'll just use the last known good transform.
    if(transformMatrix.data == NULL) {
        last_transformationmatrix.copyTo(transformMatrix);
    }

    transformMatrix.copyTo(last_transformationmatrix);

    // decompose T
    double dx = transformMatrix.at<double>(0,2);
    double dy = transformMatrix.at<double>(1,2);
    double da = atan2(transformMatrix.at<double>(1,0), transformMatrix.at<double>(0,0));

    // Accumulated frame to frame transform
    x += dx;
    y += dy;
    a += da;
    std::cout << "accumulated x,y: (" << x << "," << y << ")" << endl;

    if (compteur==0){
        init_kalman(x,y);
    }
    else {


          vector<Point2f> smooth_feature_point;
          Point2f smooth_feature=kalman_predict_correct(x,y);
          smooth_feature_point.push_back(smooth_feature);
          std::cout << "smooth x,y: (" << smooth_feature.x << "," << smooth_feature.y << ")" << endl;

          // target - current
          double diff_x = smooth_feature.x - x;//
          double diff_y = smooth_feature.y - y;

          dx = dx + diff_x;
          dy = dy + diff_y;

          transformMatrix.at<double>(0,0) = cos(da);
          transformMatrix.at<double>(0,1) = -sin(da);
          transformMatrix.at<double>(1,0) = sin(da);
          transformMatrix.at<double>(1,1) = cos(da);
          transformMatrix.at<double>(0,2) = dx;
          transformMatrix.at<double>(1,2) = dy;

          warpAffine(currFrame,outImg,transformMatrix,prevFrame.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);

          namedWindow("stabilized");
          imshow("stabilized",outImg);
          namedWindow("Original");
          imshow("Original",originalFrame);


    }

有人可以知道它为什么不起作用吗？

谢谢

最佳答案

KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                       0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));

您的processNoiseCov不对称,我怀疑您是否有正确的非对角线条款.我会坚持使用对角矩阵,直到你更好地理解KF.

另一方面,您似乎立即使用具有微小值的setIdentity覆盖它,这可能是一个错误.也许您在上面的无效矩阵出现问题后添加了？

如果你描述帧率和状态的单位(米？像素？),我们可以讨论如何为processNoiseCov和measurementNoiseCov选择好的值.

编辑：

好的,鉴于你的状态是[x_pixels,y_pixels,dx_pixels,dy_pixels],这里有一些提示：

>你的测量矩阵是我,所以你说你正在测量你所处状态的完全相同的东西(这有点不常见：通常你只测量你的状态的一些子集,例如你没有估计速度在你的测量中).
>鉴于您的测量矩阵是I,processNoiseCov和measurementNoiseCov的含义相似,所以我将一起讨论它们.您的processNoiseCov应该是一个对角矩阵,其中每个项是这些值在帧之间可能如何变化的方差(标准差的平方).例如,如果有68％的几率(参见正态分布)您的像素偏移在每帧100像素内,则位置的对角线条目应为100 * 100 = 10000(记住,方差为stddev的平方).您需要对速度如何变化进行类似的估算. (高级：应该有共同变化的(非对角线)术语,因为速度的变化与位置的变化有关,但是你可以在没有这个的情况下顺利通过,直到你对它有意义.我在其他答案中已经解释过了).
>您在每个帧中添加processNoiseCov中的加性协方差,因此请记住所表示的更改超过1/25秒.
>您的measurementNoiseCov具有相同类型的单位(同样,测量矩阵是标识),但应反映您的测量与不可知的实际真实值的准确度.
>通常,您可以测量过程和测量的实际值,并计算它们的实际协方差(以excel或python或Matlab或其他方式).
>您的errorCovPost是您的初始不确定性,表达方式与您的每帧附加协方差一样,但它描述了您对初始状态的确定性.
>在使用KF时,获得正确的协方差矩阵是最重要的.在设计KF时,您将总是花更多时间来做正确的事情而不是做任何其他事情.

点赞