#c #opencv #point-of-interest
#c #opencv #представляющий интерес
Вопрос:
Я использую Sift / Surf и ORB, но иногда у меня возникает проблема с функцией сопоставления результатов.
Здесь ошибка :
Ошибка OpenCV: ошибка утверждения (i2 >= 0 amp;amp; i2 < static_cast(keypoints2.size())) в сопоставлениях, файл /home/opencv-2.4.6.1/modules/features2d/src/draw.cpp строка 208 завершает вызов после создания экземпляра ‘cv::Exception’ what(): /home/opencv-2.4.6.1/modules/features2d/src/draw.cpp:208: ошибка: (-215) i2 >= 0 amp;amp; i2 < static_cast(keypoints2.size()) в функции drawMatche
Код :
drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,matches);
Я попытался инвертировать img 1, keypoints_img1 с помощью img2 и keypoints_img2 подобным образом :
drawMatchPoints(img2,keypoints_img2,img1,keypoints_img1,matches);
Соответствует моей функции, которая выполняет омографию :
void drawMatchPoints(cv::Mat image1,std::vector<KeyPoint> keypoints_img1,
cv::Mat image2,std::vector<KeyPoint> keypoints_img2,std::vector<cv::DMatch> matches){
cv::Mat img_matches;
drawMatches( image1, keypoints_img1, image2, keypoints_img2,
matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
std::cout << "Number of good matching " << (int)matches.size() << "n" << endl;
//-- Localize the object
std::vector<Point2f> obj;
std::vector<Point2f> scene;
for( int i = 0; i < matches.size(); i )
{
//-- Get the keypoints from the good matches
obj.push_back( keypoints_img1[ matches[i].queryIdx ].pt );
scene.push_back( keypoints_img2[matches[i].trainIdx ].pt );
}
Mat H = findHomography( obj, scene, CV_RANSAC );
std::cout << "Size of homography " << *H.size << std::endl ;
//-- Get the corners from the image_1 ( the object to be "detected" )
std::vector<Point2f> obj_corners(4);
obj_corners[0] = cvPoint(0,0); obj_corners[1] = cvPoint( image1.cols, 0 );
obj_corners[2] = cvPoint( image1.cols, image1.rows ); obj_corners[3] = cvPoint( 0, image1.rows );
std::vector<Point2f> scene_corners(4);
perspectiveTransform( obj_corners, scene_corners, H);
//-- Draw lines between the corners (the mapped object in the scene - image_2 )
line( img_matches, scene_corners[0] Point2f( image1.cols, 0), scene_corners[1] Point2f( image1.cols, 0), Scalar(0, 255, 0), 4 );
line( img_matches, scene_corners[1] Point2f( image1.cols, 0), scene_corners[2] Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
line( img_matches, scene_corners[2] Point2f( image1.cols, 0), scene_corners[3] Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
line( img_matches, scene_corners[3] Point2f( image1.cols, 0), scene_corners[0] Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
//-- Show detected matches
cv::imshow( "Good Matches amp; Object detection", img_matches );
cv::waitKey(5000);
}
Но у меня все еще ошибка!
Я заметил, что ошибка произошла, когда размер моего keypoints_img1 меньше, чем размер моего keypoints_img2 :
Размер ключевой точки 1: 244 — размер ключевой точки 2 : 400
Итак, если я инвертирую загрузку моих двух изображений, это сработает, но я не могу сейчас заранее, если на моем первом изображении будет больше ключевых точек, чем на моем втором изображении…
Мой код (самый важный шаг) для создания функций :
init_Sift(400,5,0.04,25,1.6);
void init_Sift(int nf,int nOctaveL,double contrastThresh, double edgeThresh,double sigma){
this->nfeatureSift=nf;
this->nOctaveLayerSift=nOctaveL;
this->contrastThresholdSift=contrastThresh;
this->edgeThresholdSift=edgeThresh;
this->sigmaSift=sigma;}
cv::FeatureDetector* detector=new SiftFeatureDetector(nfeatureSift,nOctaveLayerSift,contrastThresholdSift,edgeThresholdSift,sigmaSift);
cv::DescriptorExtractor* extractor=new SiftDescriptorExtractor
extractor->compute( image, keypoints, descriptors );
The matching part :
std::cout << "Type of matcher : " << type_of_matcher << std::endl;
if (type_of_matcher=="FLANN" || type_of_matcher=="BF"){
std::vector<KeyPoint> keypoints_img1 = keyfeatures.compute_Keypoints(img1);
std::vector<KeyPoint> keypoints_img2 = keyfeatures.compute_Keypoints(img2);
cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1);
cv::Mat descriptor_img2 = keyfeatures.compute_Descriptors(img2);
std::cout << "Size keyPoint1 " << keypoints_img1.size() << "n" << std::endl;
std::cout << "Size keyPoint2 " << keypoints_img2.size() << "n" << std::endl;
//Flann with sift or surf
if (type_of_matcher=="FLANN"){
Debug::info("USING Matcher FLANN");
fLmatcher.match(descriptor_img1,descriptor_img2,matches);
double max_dist = 0; double min_dist = 100;
//-- Quick calculation of max and min distances between keypoints
for( int i = 0; i < descriptor_img1.rows; i ){
double dist = matches[i].distance;
if( dist < min_dist ) min_dist = dist;
if( dist > max_dist ) max_dist = dist;
}
std::vector< DMatch > good_matches;
for( int i = 0; i < descriptor_img1.rows; i )
{ if( matches[i].distance <= max(2*min_dist, 0.02) )
{ good_matches.push_back( matches[i]); }
}
std::cout << "Size of good match : " << (int)good_matches.size() << std::endl;
//-- Draw only "good" matches
if (!good_matches.empty()){
drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,good_matches);
}
else {
Debug::error("Flann Matcher : Pas de match");
cv::Mat img_matches;
drawMatches( img1, keypoints_img1, img2, keypoints_img2,
matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
cv::imshow( "No match", img_matches );
cv::waitKey(5000);
}
}
//BruteForce with sift or surf
else if (type_of_matcher=="BF"){
Debug::info("USING Matcher Brute Force");
bFmatcher.match(descriptor_img1,descriptor_img2,matches);
if (!matches.empty()){
std::nth_element(matches.begin(),//Initial position
matches.begin() 24, //Position of the sorted element
matches.end());//End position
matches.erase(matches.begin() 25,matches.end());
drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,matches);
//drawMatchPoints(img2,keypoints_img2,img1,keypoints_img1,matches);
}
else {
Debug::error("Brute Force matcher : Pas de match");
cv::Mat img_matches;
drawMatches( img1, keypoints_img1, img2, keypoints_img2,
matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
cv::imshow( "No match", img_matches );
cv::waitKey(5000);
}
}
У вас есть какие-либо предложения или рекомендации?
РЕДАКТИРОВАТЬ: я решил свою проблему. У меня была проблема с c , потому что у меня было два класса. Одна касается сопоставления, а другая — поиска ключевой функции. Я написал в своем .h std::vector и то же самое для дескрипторов.
class keyFeatures{
public:
...
std::vector<keyPoint> keypoints;
...
Я удалил этот атрибут и создал функцию, которая принимает в качестве аргумента std::векторные ключевые точки
cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1,keypoints_img1);
вместо
cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1);
Я думаю, что произошел конфликт, когда я выполнял сопоставление…
Но я не знаю, почему мне не нужно записывать это в my .h и создавать локальный параметр в моей функции.
Спасибо!
Комментарии:
1. Насколько я знаю, не существует такой вещи, как cv::drawMatchPoints(). Однако существует cv::drawMatches(). Можете ли вы предоставить больше информации и кода? Разница в количестве ключевых точек на обоих изображениях не должна создавать проблемы, поскольку cv::drawMatches() использует совпадающие данные для отображения фактических совпадений. Все оставшиеся ключевые точки просто рисуются с помощью cv::drawKeypoints(), как вы можете видеть из исходного кода на github.com/Itseez/opencv/blob/master/modules/features2d/src /… и #L189.
2. Что касается части «не зная заранее» — вы на самом деле знаете размер каждой ключевой точки-вектора для каждого изображения ПЕРЕД вызовом cv::drawMatches() (иначе вы не сможете его вызвать ;)). В качестве альтернативного решения (хотя по-прежнему не объясняет суть проблемы) вы можете проверить размеры обоих векторов ключевых точек и при необходимости поменять их местами. Ту же проблему можно увидеть на answers.opencv.org/question/12048/drawmatches-bug и кажется, что замена должна была решить проблему. Вот почему я также попросил больше кода в первом комментарии — в частности, процедуру сопоставления
3. Да, извините, я отредактировал свой пост. На самом деле drawMatchPoint — это созданная мной функция, которая содержит функцию cv::drawMatches(). Но я попытался обменять два параметра, но это не сработало. У меня та же ошибка. Что касается ссылки на answer.opencv , я уже посмотрел… Спасибо!
4. Хм, какой тип сопоставления вы используете? Также можете ли вы на самом деле показать точный код, в котором вы создаете свой вектор совпадений? Я только что проверил свой собственный код, где я использую ORB для сшивания аэрофотоснимков вместе, и я выполняю перекрестное сопоставление для каждого изображения со всеми остальными. Я настроил свой ORB так, чтобы он пытался обнаружить 600 объектов на изображении. Некоторые вернули 600, а некоторые меньше (например, 569), что автоматически падает в вашей ситуации, однако таких ошибок не произошло, и все прошло по плану.
5. Совет для улучшения вывода: вы можете использовать маску, сгенерированную findHomography() с помощью RANSAC в drawMatches(), чтобы на самом деле показывать перемещенные точки и соответствующие им соответствия. Отображение результатов всегда должно быть вашим последним шагом, а не первым.
Ответ №1:
Для кого-то вроде меня, кто искал это, но не смог найти решение.
Ошибка утверждения (i2 >= 0 amp;amp; i2 < static_cast(keypoints2.size()))
Это означает, что утверждение не выполнено из-за того, что i2 меньше 0 или i2 меньше размера keypoints2. Но что такое i2?
По ссылке, которую rbaleksandar предоставил в комментарии
int i2 = matches1to2[m].trainIdx;
trainIdx вот индекс в keypoints2. Проверка i2 < static_cast(keypoints2.size()) гарантирует, что индекс меньше, чем keypoints2.size().
Для меня это произошло потому, что я отбросил некоторые ключевые точки перед вызовом drawMatches, но после того, как дескрипторы были вычислены, т.е. был вызван DescriptorExtractor#compute. Это означало, что сопоставления ссылались на старые ключевые точки через дескрипторы, в то время как я менял эти ключевые точки. Конечным результатом было то, что некоторые ключевые точки имели большой idx, но размер ключевых точек был небольшим, отсюда и ошибка.