En el siguiente tutorial removeremos el fondo estático de un vídeo, mostrando solo el movimiento de los objetos.

La remoción de fondo es el método de eliminación de píxeles que no se mueven, al centrarse sólo en los objetos que lo hacen. Ha muy grandes rasgos el método funciona así:

  • Capturar dos frames (fotogramas).
  • Comparar los colores de los píxeles en cada fotograma.
  • Si los colores son los mismos, reemplazar con otro.
  • Mantener el nuevo píxel.

Aquí está un ejemplo de un tipo que se mueve con un fondo estático. Algunos píxeles no parecieron cambiar cuando se movía, lo que resulta en un error:

El problema con este método es que si el objeto deja de moverse, entonces se vuelve "indetectable". Si mi mano se mueve, pero mi cuerpo no hace, todo lo que ves es una mano en movimiento. También existe la posibilidad de que a pesar de que algo se mueve, no todos los píxeles individuales cambian de color debido a que el objeto es de un color uniforme. Para corregir esto, este algoritmo se debe combinar con otros algoritmos tales como la detección de bordes.

Hay otra forma de sustracción de fondo llamada blue-screening (o green-screening, o chroma-key). Lo que se hace es; físicamente reemplazar el fondo de un color sólido, sin embargo en este caso no veremos dicho método.

Requisitos

Los requerimientos son tener instalado y configurado Qt5, OpenCV 3.1 con CUDA para ello puedes seguir la guía que publique anteriormente: OpenCV 3.1 con CUDA 7.5 sobre QT 5 en Debían 8

Creación del proyecto

Seguiremos los pasos standart para la creacion de un proyecto en QT, Seleccionando crear un nuevo proyecto.

Creación de un nuevo proyecto QT5

Configuramos el archivo .pro agregando las librerías necesarias para el correcto funcionamiento de OpenCV, estas librerias son las correspondientes a OpenCV y CUDA

INCLUDEPATH += /usr/local/include/opencv-3.1.0
LIBS += `pkg-config opencv --libs --cflags`

En mi caso el archivo en cuestión FlujoOptico-OpenCV-CUDA.pro queda de esta forma:

QT       += core gui

greaterThan(QT_MAJOR_VERSION, 4): QT += widgets

TARGET = FlujoOptico-OpenCV-CUDA
TEMPLATE = app

INCLUDEPATH += /usr/local/include/opencv-3.1.0
LIBS += `pkg-config opencv --libs --cflags`

SOURCES += main.cpp\
        mainwindow.cpp

HEADERS  += mainwindow.h

FORMS    += mainwindow.ui

Headers

Agregamos los header de OpenCV (incluyendo las librerías de CUDA para OpenCV) y QFileDialog (para poder obtener el seleccionador de archivos) a nuestro proyecto en el archivo "mainwindow.h".


#include <QMainWindow>
#include <QFileDialog>

#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>

#include <opencv2/opencv.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/core.hpp>
#include <opencv2/cudabgsegm.hpp>


Interfaz de usuario (UI)

El diseño se basa en los anteriores diseños, en todo caso lo básico que debe tener la aplicación son dos "botones" con uno configurado como checkable para el "play", "parar" y otro para seleccionar el archivo, ademas de los "Radio Buttons" para identificar la entrada de vídeo.
Dejare el código fuente completo por si presentan dudas.

QT OpenCV Video Texto
Código de las funciones principales

Tal como en tutoriales anteriores se omitieron los namespaces para fines académicos, ya que de esta forma el lector sabrá a que clase corresponde cada método.

#include "mainwindow.h"
#include "ui_mainwindow.h"
MainWindow::MainWindow(QWidget* parent)
    : QMainWindow(parent)
    , ui(new Ui::MainWindow)
{
    ui->setupUi(this);
}
MainWindow::~MainWindow()
{
    delete ui;
}
/**
* Metodo para obtener la direccion del video
* @brief MainWindow::SeleccionarVideo
*/
void MainWindow::SeleccionarVideo()
{
    // Declara la variable con la ruta del archivo
    QString archivo = QFileDialog::getOpenFileName(this, tr("Abrir Video"),
        "",
        tr("Videos (*.avi *.mp4 *.mov)"));
    //Agrega la ruta del archivo
    ui->labelVideo->setText(archivo);
    ui->radioVideo->setChecked(true);
}
/**
* Metodo para procesar el video frame a frame si ckecked==true
* @brief MainWindow::ProcesarVideo
* @param checked
*
*/
void MainWindow::ProcesarVideo(bool checked)
{
    cv::destroyAllWindows(); // Para cerrar todas las ventanas
    cv::Ptr<cv::cuda::BackgroundSubtractorMOG2> MOG2_cuda = cv::cuda::createBackgroundSubtractorMOG2();
    cv::Mat Mascara_Mog;
    cv::cuda::GpuMat Mascara_Mog_cuda;
    cv::Mat frame; // Frame como array multidimencional
    cv::cuda::GpuMat frame_cuda;
    if (!checked) { // Si !checked detiene el video si no lo procesa
        ui->play->setText("Iniciar video");
        cap.release();
    }
    else {
        ui->play->setText("Parar video");
        if (ui->radioVideo->isChecked()) { // si el "radio button" esta seleccionado ejecuta el video si no la webcam
            cap.open(ui->labelVideo->text().toStdString().c_str());
        }
        else {
            cap.open(0);
        }
    }
    while (checked) // bucle hasta que se precione "parar video"
    {
        cap >> frame; // obtiene un nuevo frame del video o camara
        if (frame.empty())
            break; // detiene el bucle si elframe esta vacio
        frame_cuda.upload(frame);
        MOG2_cuda->apply(frame_cuda, Mascara_Mog_cuda, -1);
        Mascara_Mog_cuda.download(Mascara_Mog);
        cv::namedWindow("Reproductor", cv::WINDOW_KEEPRATIO); // creamos una ventana la cual permita redimencionar
        cv::imshow("Reproductor", Mascara_Mog); // se muestran los frames
        char key = (char)cv::waitKey(20); //espera 20ms por la tecla ESC
        if (key == 27)
            break; //detiene el bucle
    }
}
void MainWindow::on_toolButton_clicked()
{
    SeleccionarVideo();
}
void MainWindow::on_actionAbrir_Video_triggered()
{
    SeleccionarVideo();
}
void MainWindow::on_play_toggled(bool checked)
{
    ProcesarVideo(checked);
}
Código fuente