如何在没有 root 的情况下可靠地模拟 Android 上的触摸事件（如 Automate 和 Tasker）？

android java android-8.0-oreo accessibilityservice

2022-09-03 00:58:49

如何从作为后台服务运行的应用外部的 Java 可靠地模拟 Android 上的触摸事件（无需生根）？

虽然以前有人问过这个问题，但大多数答案都利用了亚行。（如如何在安卓设备上模拟触摸事件？)

https://github.com/chetbox/android-mouse-cursor 使用辅助功能提供了一个很好的解决方案，但不是很可靠，因为并非所有视图都响应它，并且游戏在大多数时候根本没有响应。

private void click() {
  AccessibilityNodeInfo nodeInfo = getRootInActiveWindow();
  if (nodeInfo == null) return;

  AccessibilityNodeInfo nearestNodeToMouse = findSmallestNodeAtPoint(nodeInfo, cursorLayout.x, cursorLayout.y + 50);

  if (nearestNodeToMouse != null) {
    logNodeHierachy(nearestNodeToMouse, 0);
    nearestNodeToMouse.performAction(AccessibilityNodeInfo.ACTION_CLICK);
  }

  nodeInfo.recycle();
}

这是 https://github.com/chetbox/android-mouse-cursor 使用的当前代码。

安卓版本是8.0，股票安卓

有没有更好、更可靠的方法来模拟 Java 中的这些触摸事件？提前致谢！

答案 1

如前所述，自 Nougat （API 24）以来，模拟触摸事件的最佳方法是使用辅助功能和 AccessibilityService#dispatchGesture 方法。

以下是我如何模拟单个点击事件。

// (x, y) in screen coordinates
private static GestureDescription createClick(float x, float y) {
    // for a single tap a duration of 1 ms is enough
    final int DURATION = 1;

    Path clickPath = new Path();
    clickPath.moveTo(x, y);
    GestureDescription.StrokeDescription clickStroke =
            new GestureDescription.StrokeDescription(clickPath, 0, DURATION);
    GestureDescription.Builder clickBuilder = new GestureDescription.Builder();
    clickBuilder.addStroke(clickStroke);
    return clickBuilder.build();
}

// callback invoked either when the gesture has been completed or cancelled
callback = new AccessibilityService.GestureResultCallback() {
    @Override
    public void onCompleted(GestureDescription gestureDescription) {
        super.onCompleted(gestureDescription);
        Log.d(TAG, "gesture completed");
    }

    @Override
    public void onCancelled(GestureDescription gestureDescription) {
        super.onCancelled(gestureDescription);
        Log.d(TAG, "gesture cancelled");
    }
};

// accessibilityService: contains a reference to an accessibility service
// callback: can be null if you don't care about gesture termination
boolean result = accessibilityService.dispatchGesture(createClick(x, y), callback, null);
Log.d(TAG, "Gesture dispatched? " + result);

若要执行其他手势，您可能会发现用于测试 AccessibilityService#dispatchGesture 实现的代码很有用。

编辑：我在我的博客中链接了一篇文章，并介绍了Android辅助功能服务。

答案 2