计算机视觉 - 使用 OpenCV 滤除凸壳和凸性缺陷
2022-09-01 00:14:46
我在处理数字信号时遇到了问题。我正在尝试检测指尖，类似于这里介绍的解决方案：使用JavaCV进行手和手指检测。
但是，我没有使用JavaCV，而是为Android使用OpenCV，这略有不同。我已经设法完成了本教程中介绍的所有步骤，但过滤了凸壳和凸性缺陷。这是我的图像的样子：
这是另一种分辨率的图像：
正如您可以清楚地看到的那样，有许多黄色点（凸起的船体）和许多红色点（凸度缺陷）。有时在2个黄色点之间没有红色点，这很奇怪（凸面船体是如何计算的？
我需要的是创建类似于前面提供的链接的类似过滤功能，但使用OpenCV的数据结构。
凸面船体是MatOfInt的类型...凸性缺陷是MatOfInt4的类型...
我还创建了一些额外的数据结构，因为愚蠢的OpenCV使用不同类型的数据，其中包含相同的数据，采用不同的方法......
convexHullMatOfInt = new MatOfInt();
convexHullPointArrayList = new ArrayList<Point>();
convexHullMatOfPoint = new MatOfPoint();
convexHullMatOfPointArrayList = new ArrayList<MatOfPoint>();
这是我到目前为止所做的，但它并不好。问题可能在于以错误的方式转换数据：
创建凸面船体和凸性缺陷：
public void calculateConvexHulls()
{
convexHullMatOfInt = new MatOfInt();
convexHullPointArrayList = new ArrayList<Point>();
convexHullMatOfPoint = new MatOfPoint();
convexHullMatOfPointArrayList = new ArrayList<MatOfPoint>();
try {
//Calculate convex hulls
if(aproximatedContours.size() > 0)
{
Imgproc.convexHull( aproximatedContours.get(0), convexHullMatOfInt, false);
for(int j=0; j < convexHullMatOfInt.toList().size(); j++)
convexHullPointArrayList.add(aproximatedContours.get(0).toList().get(convexHullMatOfInt.toList().get(j)));
convexHullMatOfPoint.fromList(convexHullPointArrayList);
convexHullMatOfPointArrayList.add(convexHullMatOfPoint);
}
} catch (Exception e) {
// TODO Auto-generated catch block
Log.e("Calculate convex hulls failed.", "Details below");
e.printStackTrace();
}
}
public void calculateConvexityDefects()
{
mConvexityDefectsMatOfInt4 = new MatOfInt4();
try {
Imgproc.convexityDefects(aproximatedContours.get(0), convexHullMatOfInt, mConvexityDefectsMatOfInt4);
if(!mConvexityDefectsMatOfInt4.empty())
{
mConvexityDefectsIntArrayList = new int[mConvexityDefectsMatOfInt4.toArray().length];
mConvexityDefectsIntArrayList = mConvexityDefectsMatOfInt4.toArray();
}
} catch (Exception e) {
Log.e("Calculate convex hulls failed.", "Details below");
e.printStackTrace();
}
}
滤波：
public void filterCalculatedPoints()
{
ArrayList<Point> tipPts = new ArrayList<Point>();
ArrayList<Point> foldPts = new ArrayList<Point>();
ArrayList<Integer> depths = new ArrayList<Integer>();
fingerTips = new ArrayList<Point>();
for (int i = 0; i < mConvexityDefectsIntArrayList.length/4; i++)
{
tipPts.add(contours.get(0).toList().get(mConvexityDefectsIntArrayList[4*i]));
tipPts.add(contours.get(0).toList().get(mConvexityDefectsIntArrayList[4*i+1]));
foldPts.add(contours.get(0).toList().get(mConvexityDefectsIntArrayList[4*i+2]));
depths.add(mConvexityDefectsIntArrayList[4*i+3]);
}
int numPoints = foldPts.size();
for (int i=0; i < numPoints; i++) {
if ((depths.get(i).intValue()) < MIN_FINGER_DEPTH)
continue;
// look at fold points on either side of a tip
int pdx = (i == 0) ? (numPoints-1) : (i - 1);
int sdx = (i == numPoints-1) ? 0 : (i + 1);
int angle = angleBetween(tipPts.get(i), foldPts.get(pdx), foldPts.get(sdx));
if (angle >= MAX_FINGER_ANGLE) // angle between finger and folds too wide
continue;
// this point is probably a fingertip, so add to list
fingerTips.add(tipPts.get(i));
}
}
结果（白点 - 过滤后的指尖）：
你能帮我写出合适的过滤函数吗？
2013年8月14日更新
我使用标准的openCV函数进行轮廓近似。我必须随着分辨率的变化和手到相机的距离而改变近似值，这很难做到。如果分辨率较小，则手指由较少的像素组成，因此近似值应为爱人。与距离相同。保持高位会导致手指完全失去。因此，我认为近似不是解决问题的好方法，但是小值可能有助于加快计算速度：
Imgproc.approxPolyDP(frame, frame, 2 , true);
如果我使用高值，那么结果就像下面的图像一样，只有当距离和分辨率不会改变时，这才是好的。另外，我很惊讶船体点和缺陷点的默认方法没有有用的参数（最小角度，距离等）...
下图显示了我希望始终实现的效果，与分辨率或手到相机的距离无关。另外，当我合上手掌时，我不想看到任何黄色点......
总结一下，我想知道：
- 如何过滤点
- 我如何使分辨率和距离无关的近似值始终有效
- 如果有人知道或有一些关于OpenCV中使用的数据结构的材料（图形表示，解释），我会很乐意阅读它。（Mat，MatOfInt，MatOfPoint，MatOfPoint2，MatOfPoint4等）
