Отправка рабочего стола через TCP (boost + opencv)

159
02 июля 2019, 07:40

Всех приветствую. Наткнулся на пример отправки изображения камеры с клиента на сервер, решил попробовать отослать изображение рабочего стола вместо изображения с камеры.

Пример брал отсюда:

https://github.com/wzyuliyang/StreamOpencvMatDemo/blob/master/streamMatClient/main.cpp

Во время проведения тестов столкнулся с такой проблемой:

изображение с камеры пересылалось отлично, но изображение рабочего стола - очень криво:

Как его нормально отослать? Код клиента:

#include "pch.h"
#include <iostream>
#include <boost/array.hpp>
#include <boost/asio.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <opencv2/core/core.hpp>
#include <ctime>
#include <string>
using boost::asio::ip::tcp;
using namespace  std;
using namespace cv;
    Mat hwnd2mat(HWND hwnd)
    {
        HDC hwindowDC, hwindowCompatibleDC;
        int height, width, srcheight, srcwidth;
        HBITMAP hbwindow;
        Mat src;
        BITMAPINFOHEADER  bi;
        hwindowDC = GetDC(hwnd);
        hwindowCompatibleDC = CreateCompatibleDC(hwindowDC);
        SetStretchBltMode(hwindowCompatibleDC, COLORONCOLOR);
        RECT windowsize;    // get the height and width of the screen
        GetClientRect(hwnd, &windowsize);
        srcheight = 240;
        srcwidth = 320;
        height = 240 / 1;  //change this to whatever size you want to resize to
        width = 320 / 1;
        src.create(height, width, CV_8UC4);
        // create a bitmap
        hbwindow = CreateCompatibleBitmap(hwindowDC, width, height);
        bi.biSize = sizeof(BITMAPINFOHEADER);    //http://msdn.microsoft.com/en-us/library/windows/window/dd183402%28v=vs.85%29.aspx
        bi.biWidth = width;
        bi.biHeight = -height;  //this is the line that makes it draw upside down or not
        bi.biPlanes = 1;
        bi.biBitCount = 32;
        bi.biCompression = BI_RGB;
        bi.biSizeImage = 0;
        bi.biXPelsPerMeter = 0;
        bi.biYPelsPerMeter = 0;
        bi.biClrUsed = 0;
        bi.biClrImportant = 0;
        // use the previously created device context with the bitmap
        SelectObject(hwindowCompatibleDC, hbwindow);
        // copy from the window device context to the bitmap device context
        StretchBlt(hwindowCompatibleDC, 0, 0, width, height, hwindowDC, 0, 0, srcwidth, srcheight, SRCCOPY); //change SRCCOPY to NOTSRCCOPY for wacky colors !
        GetDIBits(hwindowCompatibleDC, hbwindow, 0, height, src.data, (BITMAPINFO *)&bi, DIB_RGB_COLORS);  //copy from hwindowCompatibleDC to hbwindow
        // avoid memory leak
        DeleteObject(hbwindow);
        DeleteDC(hwindowCompatibleDC);
        ReleaseDC(hwnd, hwindowDC);
        return src;
    }
    int main()
    {
        HWND hwndDesktop = GetDesktopWindow();
        while (true)
        {
            Mat frame = hwnd2mat(hwndDesktop);
            imshow("client", frame);
            waitKey(100);
            frame = (frame.reshape(0, 1)); // to make it continuous
            try
            {
                boost::asio::io_service io_service;
                tcp::endpoint end_point(boost::asio::ip::address::from_string("192.168.1.104"), 3200); // 10.104.3.196 is my android server ip
               // tcp::endpoint end_point(boost::asio::ip::address::from_string("127.0.0.1"), 3200); // 127.0.0.1 is my pc server ip
                tcp::socket socket(io_service);
                socket.connect(end_point);
                boost::system::error_code ignored_error;
                std::string message((char *)frame.data, 230400); /* the size of mat data is 320*240*3 */
                cout << "sending...." << endl;
                cout << "Channels: " << frame.channels() << endl;
                cout << "Cols: " << frame.cols << endl;
                socket.write_some(boost::asio::buffer(message), ignored_error);
                cout << "send image finished" << endl;
            }
            catch (std::exception& e)
            {
                std::cerr << e.what() << std::endl;
            }
        }
        return 0;
    }

Код сервера:

// OpenCvTest.cpp : This file contains the 'main' function. Program execution begins and ends there.
//
#include "pch.h"
#include <iostream>
#include <string>
#include <boost/asio.hpp>
#include <boost/array.hpp>
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <opencv2/objdetect/objdetect.hpp>
#include <iostream>
#include <vector>
#include <boost/thread/thread.hpp>
using boost::asio::ip::tcp;
using namespace  std;
using namespace cv;
Mat  img = Mat::zeros( 320,240, CV_8UC3);
bool flag = false;                              /* if flag is false ,the thread is not ready to show the mat frame */
void servershow()
{
    while (true)
    {
        if (flag)
        {
            imshow("server",img);
            waitKey(20);
        }
    }
}
int main()
{
    int rows = 1;
    boost::thread thrd(&servershow);
    try
    {
        boost::asio::io_service io_service;
        boost::array<char, 230400> buf;         /* the size of reciev mat frame is caculate by 320*240*3 */
        tcp::acceptor acceptor(io_service, tcp::endpoint(tcp::v4(), 3200));
        for (;;)
        {
            tcp::socket socket(io_service);
            acceptor.accept(socket);
            boost::system::error_code error;
            size_t len = socket.read_some(boost::asio::buffer(buf), error);
            cout<<"get data length :"<<len<<endl; /* disp the data size recieved */
            std::vector<uchar> vectordata(buf.begin(),buf.end()); /* change the recieved mat frame(1*230400) to vector */
            cv::Mat data_mat(vectordata,true);
            img= data_mat.reshape(4,240);       /* reshape to 4 channel and 240 rows*/
            cout<<"reshape over"<<endl;
            flag =true;
            rows++;
        }
    }
    catch (std::exception& e)
    {
        std::cerr << e.what() << std::endl;
    }
    thrd.join();
    return 0;
}
Answer 1

С ходу тут видно две проблемы:

  1. img используется без синхронизации в двух потоках, что приводит к неопределенному поведению
  2. На каждой итерации цикла for(;;) зачем-то пересоздается сокет.

Ну и использование OpenCV только для вывода картинки на экран как-то сомнительно.

READ ALSO
Метод прогонки/Алгоритм Томаса(С++) [закрыт]

Метод прогонки/Алгоритм Томаса(С++) [закрыт]

Здраствуйте! Хотел бы попросить Вас о маленькой помощиПроблема заключается в следующем : должен найти решения матрицы методом прогонки и в конечном...

134
как убрать кавычки

как убрать кавычки

Допустим нужно ввести строку Например : ((1&1)^(0|1)) Чтобы он вывел : 0 нужно превратить это "((1&1)^(0|1))" в это ((1&1)^(0|1))

132
Допустим ли вызов деструктора в данной ситуации?

Допустим ли вызов деструктора в данной ситуации?

Пишу класс двусвязного списка, и у меня появилась необходимость перегрузить operator=Кусок класса

141
Обработка ошибки и передача через поток char

Обработка ошибки и передача через поток char

Функция конвертирует std::string в тип TПередача "-1" в числовые типы считается ошибкой

126