android – 如何制作系统叠加视图的背景MULTIPLY(混合模式)？

2023年9月8日 265次阅读

首先是我的问题的一个小背景：我正在尝试创建一个系统覆盖类型视图(即绘制其他应用程序),这是(现在)只是一个全屏纯色.我通过启动/停止服务来打开/关闭它.

这是我的代码到目前为止的样子(在服务内)：

public void onCreate() {
    super.onCreate();
    oView = new LinearLayout(this);
    oView.setBackgroundColor(0x66ffffff);

    PorterDuffColorFilter fil = new PorterDuffColorFilter(0xfff5961b, PorterDuff.Mode.MULTIPLY);
    oView.getBackground().setColorFilter(fil);

    WindowManager.LayoutParams params = new WindowManager.LayoutParams(
            WindowManager.LayoutParams.MATCH_PARENT,
            WindowManager.LayoutParams.MATCH_PARENT,
            WindowManager.LayoutParams.TYPE_SYSTEM_OVERLAY,
            0 | WindowManager.LayoutParams.FLAG_NOT_FOCUSABLE,
            PixelFormat.TRANSLUCENT);
    WindowManager wm = (WindowManager) getSystemService(WINDOW_SERVICE);
    wm.addView(oView, params);
}

这样,当我启动此服务时,我可以在我的常规Android使用的其余部分获得纯色.
现在,我的具体问题：
有没有什么方法可以让这个颜色到MULTIPLY(想想photoshop混合模式)比它背后的常规android用法？

从我的代码中可以看出,我已经尝试过使用PorterDuff过滤器模式(它们的几种不同组合)来实现它,徒劳无功.

这里有一些截图可以更好地解释这个：

《android – 如何制作系统叠加视图的背景MULTIPLY(混合模式)？》< – 没有我服务的原始屏幕. 《android – 如何制作系统叠加视图的背景MULTIPLY(混合模式)？》< – 启用了当前代码服务的同一屏幕. 《android – 如何制作系统叠加视图的背景MULTIPLY(混合模式)？》< – 在同一屏幕上的预期结果.注意如何将较暗的颜色乘以下方. 如您所见,我当前的代码只会抛出一层纯色.
我感谢所有的建议.提前致谢！

最佳答案 对于那些仍然想知道这件事是否可能的人,我决定分享我解决这个问题的经验.

长话短说

Android设计,因此它不允许在不同上下文的视图中应用颜色混合(我实际上无法证明该声明,这纯粹来自我的个人经验),所以要实现你想要的东西你需要先以某种方式呈现一个表面上的目标图像,属于您的某个应用程序上下文.

0.概述

没有办法在应用程序中广播android主屏幕,至少是出于安全原因(否则,通过使应用程序外观和行为与系统主屏幕完全相同,可以通过填充用户输入来窃取个人数据和密码) .然而在Android API 21(Lollipop)中引入了所谓的MediaProjection类,这引入了记录屏幕的可能性.我不认为没有root设备就可以使用较低的API(如果你没关系,你可以使用Runtime类的exec命令从应用程序中自由使用adb shell screencap命令).如果您有主屏幕截图,则可以在应用程序中创建主屏幕感,然后应用颜色混合.不幸的是,这种屏幕录制功能也会记录叠加本身,因此只有在隐藏叠加时才需要录制屏幕.

1.截取屏幕截图

使用MediaProjection进行截屏并不困难,但需要付出一些努力才能执行.它还要求您有一个活动来询问用户屏幕录制权限.首先,您需要获得使用Media Project Service的许可：

private final static int SCREEN_RECORDING_REQUEST_CODE = 0x0002;
...
private void requestScreenCapture() {
    MediaProjectionManager mediaProjectionManager = (MediaProjectionManager) getSystemService(Context.MEDIA_PROJECTION_SERVICE);
    Intent intent = mediaProjectionManager.createScreenCaptureIntent();
    startActivityForResult(intent, SCREEN_RECORDING_REQUEST_CODE);
}

然后在onActivityResult方法中处理请求.请注意,您还需要保留Intent从此请求中返回以供后续使用以获取VirtualDisplay(实际上完成捕获屏幕的所有工作)

@Override
protected void onActivityResult(int requestCode, int resultCode, @NonNull Intent data) {
    super.onActivityResult(requestCode, resultCode, data);
    switch (requestCode) {
        case SCREEN_RECORDING_REQUEST_CODE:
            if (resultCode == RESULT_OK) {
                launchOverlay(data);
            } else {
                finishWithMessage(R.string.error_permission_screen_capture);
            }
            break;
    }
}

最终,您可以从MediaProjectionManager系统服务获取MediaProjection实例(使用先前返回的意图数据)：

MediaProjectionManager mediaProjectionManager = (MediaProjectionManager) appContext.getSystemService(MEDIA_PROJECTION_SERVICE);
// screenCastData is the Intent returned in the onActivityForResult method
mMediaProjection = mediaProjectionManager.getMediaProjection(Activity.RESULT_OK, screenCastData);

为了制作一个VirtualDisplay渲染主屏幕,我们应该提供一个Surface.然后,如果我们需要一个来自这个表面的图像,我们需要缓存绘图并将其抓取到位图中,或者要求曲面直接绘制到我们的画布上.然而,在这种特殊情况下,没有必要发明轮子,已经有一些方便用于此类目的,称为ImageReader.由于我们需要模仿主屏幕,因此应使用实际设备大小(包括状态栏和导航按钮)实例化ImageReader吧,如果它是作为Android屏幕的一部分呈现)：

mWindowManager = (WindowManager) context.getSystemService(Context.WINDOW_SERVICE);
final Display defaultDisplay = mWindowManager.getDefaultDisplay();
Point displaySize = new Point();
defaultDisplay.getRealSize(displaySize);
final ImageReader imageReader = ImageReader.newInstance(displaySize.x, displaySize.y, PixelFormat.RGBA_8888, 1);

我们还需要设置一个传入图像缓冲区的监听器,所以当截取屏幕截图时,它会转到这个监听器：

imageReader.setOnImageAvailableListener(this, null);

我们很快就会回到这个监听器的实现.现在让我们创建一个VirtualDisplay,这样它最终可以帮我们做截图：

final Display defaultDisplay = mWindowManager.getDefaultDisplay();
final DisplayMetrics displayMetrics = new DisplayMetrics();
defaultDisplay.getMetrics(displayMetrics);
mScreenDpi = displayMetrics.densityDpi;
mVirtualDisplay = mMediaProjection.createVirtualDisplay("virtual_display",
                                                        imageReader.getWidth(),
                                                        imageReader.getHeight(),
                                                        mScreenDpi,
                                                        DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
                                                        imageReader.getSurface(),
                                                        null, null);

现在,只要VirtualDisplay发出它,ImageRender就会向它发送监听器新图像.监听器只包含一个方法,如下所示：

@Override
public void onImageAvailable(@NonNull ImageReader reader) {
    final Image image = reader.acquireLatestImage();
    Image.Plane[] planes = image.getPlanes();
    ByteBuffer buffer = planes[0].getBuffer();
    int pixelStride = planes[0].getPixelStride();
    int rowStride = planes[0].getRowStride();
    int rowPadding = rowStride - pixelStride * image.getWidth();
    final Bitmap bitmap = Bitmap.createBitmap(image.getWidth() + rowPadding / pixelStride,
            image.getHeight(), Bitmap.Config.ARGB_8888);
    bitmap.copyPixelsFromBuffer(buffer);
    image.close();
    reader.close();
    onScreenshotTaken(bitmap);
}

图像处理完成后,您应该调用ImageReader的close()方法.它释放了它分配的所有资源,同时使ImageReder无法使用.因此,当您需要拍摄下一个屏幕截图时,您必须实例化另一个ImageReader. (因为我们的实例是使用1个图像的缓冲区制作的,所以无论如何它都不可用)

2.将屏幕截图放在主屏幕上

现在,当我们获得主屏幕的精确截图时,应该放置它,以便最终用户不会注意到差异.我没有选择你在问题中使用的LinearLayout,而是选择了具有类似布局参数的ImageView.由于它已经覆盖了整个屏幕,唯一剩下的就是调整其中的屏幕截图位置,因此它不包含状态栏和导航栏按钮(这是因为屏幕录制实际上是捕获整个设备屏幕,而我们的叠加视图只能放在“可绘制”区域内.为此,我们可以使用简单的矩阵转换：

private void showDesktopScreenshot(Bitmap screenshot, ImageView imageView) {
    // The goal is to position the bitmap such it is attached to top of the screen display, by
    // moving it under status bar and/or navigation buttons bar
    Rect displayFrame = new Rect();
    imageView.getWindowVisibleDisplayFrame(displayFrame);
    final int statusBarHeight = displayFrame.top;
    imageView.setScaleType(ImageView.ScaleType.MATRIX);
    Matrix imageMatrix = new Matrix();
    imageMatrix.setTranslate(-displayFrame.left, -statusBarHeight);
    imageView.setImageMatrix(imageMatrix);
    imageView.setImageBitmap(screenshot);
}

3.应用颜色混合

由于我们已经有一个包含Homescreen的视图,我发现扩展它很方便,因此它可以在应用混合模式的情况下绘制叠加层.让我们扩展`ImageView类并引入几个空方法：

class OverlayImageView extends ImageView {
    @NonNull
    private final Paint mOverlayPaint;

    public OverlayImageView(Context context) {
        super(context);
    }

    void setOverlayColor(int color) {
    }

    void setOverlayPorterDuffMode(PorterDuff.Mode mode) {
    }
}

如您所见,我添加了一个Paint类型的字段.它将帮助我们绘制叠加层并反映变化.我实际上并不认为自己是计算机图形方面的专家,但是为了排除任何令人困惑的问题,我想强调一下,你在问题中使用的方法有点不对 – 你把你的观点抽象为背景(并且它没有实际上取决于您的观点背后的内容)并仅在其上应用PorterDuff模式.因此,背景用作目标颜色,并且您在PorterDuffColorFilter构造函数中指定的颜色用作源颜色.只混合这两件事,没有其他因素受到影响.但是,当您在Paint上应用PorterDuff模式并在画布上绘制时,将混合此画布后面的所有视图(并且属于同一个Context).让我们首先覆盖onDraw方法,然后在我们的ImageView中绘制绘画：

@Override
protected void onDraw(@NonNull Canvas canvas) {
    super.onDraw(canvas);
    canvas.drawPaint(mOverlayPaint);
}

现在我们只需要为我们的setter添加相应的更改,并通过调用invalidate()方法让视图重绘自己：

void setOverlayColor(@SuppressWarnings("SameParameterValue") int color) {
    mOverlayPaint.setColor(color);
    invalidate();
}

void setOverlayPorterDuffMode(@SuppressWarnings("SameParameterValue") PorterDuff.Mode mode) {
    mOverlayPaint.setXfermode(new PorterDuffXfermode(mode));
    invalidate();
}

而已！以下是没有混合乘法模式并应用它的相同效果的示例：

 

取而代之的是结论

当然这个解决方案远非完美 – 叠加层与主屏幕完全重叠,为了使其可行,您应该提出许多解决方案来解决角落案例,例如常见交互,键盘,滚动,调用,系统对话框和很多其他的.我试了一下,并做了一个快速的应用程序,当用户触摸屏幕时隐藏叠加.它仍然有很多问题,但应该是一个很好的起点.主要问题是使应用程序意识到正在发生的事情.我没有检查Accessibility Service,但它应该非常适合,因为与普通服务相比,它有更多关于用户操作的信息.你可以在这里检查我的解决方案 – https://github.com/AlexandrSMed/stack-35590953

点赞