iOS：从背景图像中检索矩形图像

我正在一个实现中，我在一个大的背景图像中有一个矩形形状的图像。 我试图以编程方式从大图像检索矩形形状的图像，并从该特定的矩形图像检索文本信息。 我正在尝试使用Open-CV第三方框架，但无法从大背景图像中检索矩形图像。 有人能指导我，我怎么能做到这一点？

更新：

我发现链接找出使用OpenCV的正方形形状。 我可以得到它修改为寻找矩形形状？ 有人可以指导我吗？

更新最新：

我终于得到了代码，下面是它。

- (cv::Mat)cvMatWithImage:(UIImage *)image { CGColorSpaceRef colorSpace = CGImageGetColorSpace(image.CGImage); CGFloat cols = image.size.width; CGFloat rows = image.size.height; cv::Mat cvMat(rows, cols, CV_8UC4); // 8 bits per component, 4 channels CGContextRef contextRef = CGBitmapContextCreate(cvMat.data, // Pointer to backing data cols, // Width of bitmap rows, // Height of bitmap 8, // Bits per component cvMat.step[0], // Bytes per row colorSpace, // Colorspace kCGImageAlphaNoneSkipLast | kCGBitmapByteOrderDefault); // Bitmap info flags CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), image.CGImage); CGContextRelease(contextRef); return cvMat; } -(UIImage *)UIImageFromCVMat:(cv::Mat)cvMat { NSData *data = [NSData dataWithBytes:cvMat.data length:cvMat.elemSize()*cvMat.total()]; CGColorSpaceRef colorSpace; if ( cvMat.elemSize() == 1 ) { colorSpace = CGColorSpaceCreateDeviceGray(); } else { colorSpace = CGColorSpaceCreateDeviceRGB(); } //CFDataRef data; CGDataProviderRef provider = CGDataProviderCreateWithCFData( (CFDataRef) data ); // It SHOULD BE (__bridge CFDataRef)data CGImageRef imageRef = CGImageCreate( cvMat.cols, cvMat.rows, 8, 8 * cvMat.elemSize(), cvMat.step[0], colorSpace, kCGImageAlphaNone|kCGBitmapByteOrderDefault, provider, NULL, false, kCGRenderingIntentDefault ); UIImage *finalImage = [UIImage imageWithCGImage:imageRef]; CGImageRelease( imageRef ); CGDataProviderRelease( provider ); CGColorSpaceRelease( colorSpace ); return finalImage; } -(void)forOpenCV { imageView = [UIImage imageNamed:@"myimage.jpg"]; if( imageView != nil ) { cv::Mat tempMat = [imageView CVMat]; cv::Mat greyMat = [self cvMatWithImage:imageView]; cv::vector<cv::vector<cv::Point> > squares; cv::Mat img= [self debugSquares: squares: greyMat]; imageView = [self UIImageFromCVMat: img]; self.imageView.image = imageView; } } double angle( cv::Point pt1, cv::Point pt2, cv::Point pt0 ) { double dx1 = pt1.x - pt0.x; double dy1 = pt1.y - pt0.y; double dx2 = pt2.x - pt0.x; double dy2 = pt2.y - pt0.y; return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10); } - (cv::Mat) debugSquares: (std::vector<std::vector<cv::Point> >) squares : (cv::Mat &)image { NSLog(@"%lu",squares.size()); // blur will enhance edge detection //cv::Mat blurred(image); cv::Mat blurred = image.clone(); medianBlur(image, blurred, 9); cv::Mat gray0(image.size(), CV_8U), gray; cv::vector<cv::vector<cv::Point> > contours; // find squares in every color plane of the image for (int c = 0; c < 3; c++) { int ch[] = {c, 0}; mixChannels(&image, 1, &gray0, 1, ch, 1); // try several threshold levels const int threshold_level = 2; for (int l = 0; l < threshold_level; l++) { // Use Canny instead of zero threshold level! // Canny helps to catch squares with gradient shading if (l == 0) { Canny(gray0, gray, 10, 20, 3); // // Dilate helps to remove potential holes between edge segments dilate(gray, gray, cv::Mat(), cv::Point(-1,-1)); } else { gray = gray0 >= (l+1) * 255 / threshold_level; } // Find contours and store them in a list findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE); // Test contours cv::vector<cv::Point> approx; for (size_t i = 0; i < contours.size(); i++) { // approximate contour with accuracy proportional // to the contour perimeter approxPolyDP(cv::Mat(contours[i]), approx, arcLength(cv::Mat(contours[i]), true)*0.02, true); // Note: absolute value of an area is used because // area may be positive or negative - in accordance with the // contour orientation if (approx.size() == 4 && fabs(contourArea(cv::Mat(approx))) > 1000 && isContourConvex(cv::Mat(approx))) { double maxCosine = 0; for (int j = 2; j < 5; j++) { double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1])); maxCosine = MAX(maxCosine, cosine); } if (maxCosine < 0.3) squares.push_back(approx); } } } } NSLog(@"squares.size(): %lu",squares.size()); for( size_t i = 0; i < squares.size(); i++ ) { cv::Rect rectangle = boundingRect(cv::Mat(squares[i])); NSLog(@"rectangle.x: %d", rectangle.x); NSLog(@"rectangle.y: %d", rectangle.y); if(i==squares.size()-1)////Detecting Rectangle here { const cv::Point* p = &squares[i][0]; int n = (int)squares[i].size(); NSLog(@"%d",n); line(image, cv::Point(507,418), cv::Point(507+1776,418+1372), cv::Scalar(255,0,0),2,8); polylines(image, &p, &n, 1, true, cv::Scalar(255,255,0), 5, CV_AA); int fx1=rectangle.x; NSLog(@"X: %d", fx1); int fy1=rectangle.y; NSLog(@"Y: %d", fy1); int fx2=rectangle.x+rectangle.width; NSLog(@"Width: %d", fx2); int fy2=rectangle.y+rectangle.height; NSLog(@"Height: %d", fy2); line(image, cv::Point(fx1,fy1), cv::Point(fx2,fy2), cv::Scalar(0,0,255),2,8); } } return image; } 

谢谢。

Answer 1

这是一个完整的答案，使用一个小的包装类来分离C ++与Objective-C的代码。

我不得不在stackoverflow上提出另一个问题来处理我可怜的c ++知识 – 但是我已经使用squares.cpp示例代码作为例子，完成了我们需要将c ++ 干净地与objective-c代码进行接口的一切。 其目的是保持原始的c ++代码尽可能原始，并保持openCV的大部分工作在纯粹的c + +文件（IM）的便携性。

我已经离开了我原来的答案，因为这似乎超出了编辑。 完整的演示项目在github上

CVViewController.h / CVViewController.m

• 纯粹的Objective-C

• 通过一个WRAPPER与openCV c ++代码进行通信…它既不知道也不在意c ++正在处理包装器后面的这些方法调用。

CVWrapper.h / CVWrapper.mm

• 客观-C ++

尽可能less，真的只有两件事…

• 调用UIImage objC ++类别来转换和从UIImage <> cv :: Mat
• 介于CVViewController的obj-C方法和CVSquares c ++（类）函数调用之间

CVSquares.h / CVSquares.cpp

• 纯粹的C ++
• CVSquares.cpp在类定义中声明了公共函数（在这里是一个静态函数）。
  这将replace原始文件中的main{}的工作。
• 我们尽量保持CVSquares.cpp尽可能接近C ++原来的可移植性。

CVViewController.m

 //remove 'magic numbers' from original C++ source so we can manipulate them from obj-C #define TOLERANCE 0.01 #define THRESHOLD 50 #define LEVELS 9 UIImage* image = [CVSquaresWrapper detectedSquaresInImage:self.image tolerance:TOLERANCE threshold:THRESHOLD levels:LEVELS]; 

CVSquaresWrapper.h

 // CVSquaresWrapper.h #import <Foundation/Foundation.h> @interface CVSquaresWrapper : NSObject + (UIImage*) detectedSquaresInImage:(UIImage*)image tolerance:(CGFloat)tolerance threshold:(NSInteger)threshold levels:(NSInteger)levels; @end 

CVSquaresWrapper.mm

 // CVSquaresWrapper.mm // wrapper that talks to c++ and to obj-c classes #import "CVSquaresWrapper.h" #import "CVSquares.h" #import "UIImage+OpenCV.h" @implementation CVSquaresWrapper + (UIImage*) detectedSquaresInImage:(UIImage*) image tolerance:(CGFloat)tolerance threshold:(NSInteger)threshold levels:(NSInteger)levels { UIImage* result = nil; //convert from UIImage to cv::Mat openCV image format //this is a category on UIImage cv::Mat matImage = [image CVMat]; //call the c++ class static member function //we want this function signature to exactly //mirror the form of the calling method matImage = CVSquares::detectedSquaresInImage (matImage, tolerance, threshold, levels); //convert back from cv::Mat openCV image format //to UIImage image format (category on UIImage) result = [UIImage imageFromCVMat:matImage]; return result; } @end 

CVSquares.h

 // CVSquares.h #ifndef __OpenCVClient__CVSquares__ #define __OpenCVClient__CVSquares__ //class definition //in this example we do not need a class //as we have no instance variables and just one static function. //We could instead just declare the function but this form seems clearer class CVSquares { public: static cv::Mat detectedSquaresInImage (cv::Mat image, float tol, int threshold, int levels); }; #endif /* defined(__OpenCVClient__CVSquares__) */ 

CVSquares.cpp

 // CVSquares.cpp #include "CVSquares.h" using namespace std; using namespace cv; static int thresh = 50, N = 11; static float tolerance = 0.01; //declarations added so that we can move our //public function to the top of the file static void findSquares( const Mat& image, vector<vector<Point> >& squares ); static void drawSquares( Mat& image, vector<vector<Point> >& squares ); //this public function performs the role of //main{} in the original file (main{} is deleted) cv::Mat CVSquares::detectedSquaresInImage (cv::Mat image, float tol, int threshold, int levels) { vector<vector<Point> > squares; if( image.empty() ) { cout << "Couldn't load " << endl; } tolerance = tol; thresh = threshold; N = levels; findSquares(image, squares); drawSquares(image, squares); return image; } // the rest of this file is identical to the original squares.cpp except: // main{} is removed // this line is removed from drawSquares: // imshow(wndname, image); // (obj-c will do the drawing) 

的UIImage + OpenCV.h

UIImage类别是一个objC ++文件，其中包含要在UIImage和cv :: Mat图像格式之间进行转换的代码。 这是你移动你的两个方法的地方-(UIImage *)UIImageFromCVMat:(cv::Mat)cvMat和- (cv::Mat)cvMatWithImage:(UIImage *)image

 //UIImage+OpenCV.h #import <UIKit/UIKit.h> @interface UIImage (UIImage_OpenCV) //cv::Mat to UIImage + (UIImage *)imageFromCVMat:(cv::Mat&)cvMat; //UIImage to cv::Mat - (cv::Mat)CVMat; @end 

这里的方法实现和你的代码没有什么不同（虽然我们不通过UIImage来转换，而是我们引用self ）

Answer 2

这是一个部分的答案。 这是不完整的，因为我试图做同样的事情，每一步都遇到很大的困难。 我的知识在Objective-C上非常强大，但在C ++上真的很弱

你应该阅读本指南来包装c + +

还有Ievgen Khvedchenia的Computer Vision Talks博客上的所有内容，尤其是openCV教程 。 Ievgen还在github上发布了一个令人惊讶的完整项目 ，随着教程。

话虽如此，我仍然很难得到openCV编译运行的顺利。

例如，Ievgen的教程作为一个完成的项目运行良好，但是如果我尝试从头开始重新创build，我会得到一直困扰着我的openCV编译错误。 这可能是我对C ++的了解不多，而且是与obj-C的集成。

关于squares.cpp

你需要做什么

• 从squares.cpp中删除int main(int /*argc*/, char** /*argv*/)
• 删除imshow(wndname, image); 从drawSquares（obj-c将做图）
• 创build一个头文件squares.h
• 在头文件中创build一个或两个公用函数，您可以从obj-c（或从obj-c / c ++包装器）

这是我到目前为止…

 class squares { public: static cv::Mat& findSquares( const cv::Mat& image, cv::vector<cv::vector<cv::Point> >& squares ); static cv::Mat& drawSquares( cv::Mat& image, const cv::vector<cv::vector<cv::Point> >& squares ); }; 

你应该能够减less到一个单一的方法，例如processSquares与一个inputcv::Mat& image和一个返回cv::Mat& image 。 该方法将声明squares ，并在.cpp文件中调用findSquares和drawSquares 。

包装将采取一个inputUIImage，将其转换为cv::Mat image ，用该input调用processSquares ，并获得结果cv::Mat image 。 这个结果会转换回NSImage并传递回objc调用函数。

这是我们需要做的一个简洁的草图，一旦我真的设法做到这一点，我会尽量扩大这个答案！