C# 编写 Windows 动态桌面软件实现之桌面交互功能

Posted 2021-12-29

DreamScene2 1.3 版本已经发布了，现在支持鼠标和桌面交互功能。这个功能不会影响性能，基本不占用 CPU。这个功能让我对 Windows 消息机制有了更深入的理解，在这篇博客中我会详细介绍实现方式。

欢迎 Star 和 Fork https://github.com/he55/DreamScene2

实现原理

使用 WIN32 API SetWindowsHookEx 函数 Hook 鼠标键盘消息，在钩子处理函数中处理捕获鼠标键盘消息然后调用 PostMessage 函数向动态桌面窗口发送转发消息。

设置鼠标和键盘钩子

函数的第一个参数是钩子类型，Hook 鼠标消息可以传 WH_MOUSE_LL，Hook 键盘消息可以传 WH_KEYBOARD_LL。第二个参数是自定义的钩子消息处理函数地址。函数的第三个参数是钩子函数所在的模块句柄，当钩子类型是 WH_MOUSE_LL 或者 WH_KEYBOARD_LL 时，可以直接传当前模块句柄。函数的第四个参数是线程 Id，传 NULL 捕获所有消息。

设置 Hook 代码。保存 SetWindowsHookEx 函数返回值，卸载 Hook 时需要

HHOOK g_hLowLevelMouseHook = NULL;
HHOOK g_hLowLevelKeyboardHook = NULL;

HMODULE hModule = GetModuleHandle(NULL);
g_hLowLevelMouseHook = SetWindowsHookEx(WH_MOUSE_LL, LowLevelMouseProc, hModule, NULL);
g_hLowLevelKeyboardHook = SetWindowsHookEx(WH_KEYBOARD_LL, LowLevelKeyboardProc, hModule, NULL);

卸载 Hook 代码

UnhookWindowsHookEx(g_hLowLevelMouseHook);
UnhookWindowsHookEx(g_hLowLevelKeyboardHook);

编写钩子处理函数

WH_MOUSE_LL 和 WH_KEYBOARD_LL 的钩子处理函数签名相同，wParam 参数是消息类型，lParam 参数是一个指针和钩子函数的类型有关。当钩子类型为 WH_MOUSE_LL 时 lParam 参数是 MSLLHOOKSTRUCT 结构体指针。当钩子类型为 WH_KEYBOARD_LL 时 lParam 参数是 KBDLLHOOKSTRUCT 结构体指针。

钩子处理函数签名

LRESULT CALLBACK xxxProc(
  _In_ int    nCode,
  _In_ WPARAM wParam,
  _In_ LPARAM lParam
);

鼠标钩子处理函数

LRESULT CALLBACK LowLevelMouseProc(int    nCode, WPARAM wParam, LPARAM lParam) 
    return CallNextHookEx(NULL, nCode, wParam, lParam);

处理 WM_LBUTTONDOWN 鼠标按下消息

鼠标钩子处理函数的 wParam 参数就是鼠标消息类型，lParam 参数需要转换成 MSLLHOOKSTRUCT 结构体指针，MSLLHOOKSTRUCT 结构体的 pt 字段鼠标相对于屏幕的坐标。想转发鼠标按下消息，需要看 WM_LBUTTONDOWN 消息的定义：WM_LBUTTONDOWN 消息的 wParam 参数为按键的状态，lParam 参数的低字节为光标的 x 坐标、高字节为光标的 y 坐标。需要注意鼠标钩子处理函数和 PostMessage 函数的 wParam 参数、lParam 参数含义不同，需要转换成 PostMessage 函数需要的参数。

WM_LBUTTONDOWN 处理方法

LRESULT CALLBACK LowLevelMouseProc(int    nCode, WPARAM wParam, LPARAM lParam) 
    MSLLHOOKSTRUCT* p = (MSLLHOOKSTRUCT*)lParam;
    LONG lp = MAKELONG(p->pt.x, p->pt.y); // 低字节 x 坐标、高字节 y 坐标

    if (wParam == WM_LBUTTONDOWN) 
        PostMessage(g_hWnd, (UINT)wParam, MK_LBUTTON, lp); // 向动态桌面窗口发送鼠标按下消息
    
    return CallNextHookEx(NULL, nCode, wParam, lParam);

WM_LBUTTONUP 和 WM_MOUSEMOVE 处理方法一样

LRESULT CALLBACK LowLevelMouseProc(int    nCode, WPARAM wParam, LPARAM lParam) 
    MSLLHOOKSTRUCT* p = (MSLLHOOKSTRUCT*)lParam;
    LONG lp = MAKELONG(p->pt.x, p->pt.y);

    if (wParam == WM_MOUSEMOVE) 
        PostMessage(g_hWnd, (UINT)wParam, MK_XBUTTON1, lp);
    
    else  if (wParam == WM_LBUTTONDOWN || wParam == WM_LBUTTONUP) 
        PostMessage(g_hWnd, (UINT)wParam, MK_LBUTTON, lp);
    
    return CallNextHookEx(NULL, nCode, wParam, lParam);

优化鼠标消息转发

上面的代码会转发所有的鼠标消息，实际上并不想转发所有的鼠标消息。对鼠标按下和松开的消息，只转发焦点在桌面上的鼠标消息。

判断前台窗口是不是桌面

BOOL DS2_IsDesktop(void) 
    HWND hProgman = FindWindow("Progman", "Program Manager");
    HWND hWorkerW = NULL;

    HWND   hShellViewWin = FindWindowEx(hProgman, NULL, "SHELLDLL_DefView", NULL);
    if (!hShellViewWin)
    
        HWND hDesktopWnd = GetDesktopWindow();
        do
        
            hWorkerW = FindWindowEx(hDesktopWnd, hWorkerW, "WorkerW", NULL);
            hShellViewWin = FindWindowEx(hWorkerW, NULL, "SHELLDLL_DefView", NULL);
         while (!hShellViewWin && hWorkerW);
    

    HWND hForegroundWindow = GetForegroundWindow();
    return hForegroundWindow == hWorkerW || hForegroundWindow == hProgman;

对鼠标移动的消息，转发鼠标在桌面上的鼠标移动消息。

LRESULT CALLBACK LowLevelMouseProc(int    nCode, WPARAM wParam, LPARAM lParam) 
    MSLLHOOKSTRUCT* p = (MSLLHOOKSTRUCT*)lParam;
    LONG lp = MAKELONG(p->pt.x, p->pt.y);

    if (wParam == WM_MOUSEMOVE) 
        RECT rect;
        GetWindowRect(GetForegroundWindow(), &rect);

        if (!PtInRect(&rect, p->pt)) 
            PostMessage(g_hWnd, (UINT)wParam, MK_XBUTTON1, lp);
        
    
    return CallNextHookEx(NULL, nCode, wParam, lParam);

完整的鼠标钩子处理函数代码

LRESULT CALLBACK LowLevelMouseProc(int    nCode, WPARAM wParam, LPARAM lParam) 
    MSLLHOOKSTRUCT* p = (MSLLHOOKSTRUCT*)lParam;
    LONG lp = MAKELONG(p->pt.x, p->pt.y);

    if (DS2_IsDesktop()) 
        if (wParam == WM_MOUSEMOVE) 
            PostMessage(g_hWnd, (UINT)wParam, MK_XBUTTON1, lp);
        
        else  if (wParam == WM_LBUTTONDOWN || wParam == WM_LBUTTONUP) 
            PostMessage(g_hWnd, (UINT)wParam, MK_LBUTTON, lp);
        
        else  if (wParam == WM_MOUSEWHEEL) 
            // TODO:
        
    
    else  if (wParam == WM_MOUSEMOVE) 
        RECT rect;
        GetWindowRect(GetForegroundWindow(), &rect);

        if (!PtInRect(&rect, p->pt)) 
            PostMessage(g_hWnd, (UINT)wParam, MK_XBUTTON1, lp);
        
    

    return CallNextHookEx(NULL, nCode, wParam, lParam);

键盘钩子处理函数

键盘钩子处理函数的 wParam 参数就是键盘消息类型，lParam 参数需要转换成 KBDLLHOOKSTRUCT 结构体指针。KBDLLHOOKSTRUCT 结构体中用到的有 scanCode 字段和 vkCode 字段。键盘消息 WM_KEYDOWN 和 WM_KEYUP 消息的 wParam 参数为 vkCode，lParam 参数的含义比较复杂。

WM_KEYDOWN 消息的 lParam 参数 bit 位说明

Bits	说明
0-15	当前消息的重复计数。
16-23	扫描代码
24	指示该键是扩展键。如果它是扩展键则值为 1，否则为 0。
25-28	保留，不使用。
29	上下文代码。对于 WM_KEYDOWN 消息该值始终为 0。
30	之前的键状态。如果在发送消息之前键关闭则值为 1，如果键已启动则值为 0。
31	转换状态。对于 WM_KEYDOWN 消息该值始终为 0。

WM_KEYUP 消息的 lParam 参数 bit 位说明

Bits	说明
0-15	当前消息的重复计数。对于 WM_KEYUP 消息，重复计数始终为1。
16-23	扫描代码
24	指示该键是扩展键。如果它是扩展键则值为 1，否则为 0。
25-28	保留，不使用。
29	上下文代码。对于 WM_KEYUP 消息该值始终为 0。
30	之前的键状态。对于 WM_KEYUP 消息该值始终为 1。
31	转换状态。对于 WM_KEYUP 消息该值始终为 1。

完整的键盘钩子处理函数代码

LRESULT CALLBACK LowLevelKeyboardProc(int    nCode, WPARAM wParam, LPARAM lParam) 
    if (DS2_IsDesktop()) 
        KBDLLHOOKSTRUCT* p = (KBDLLHOOKSTRUCT*)lParam;

        if (wParam == WM_KEYDOWN) 
            int lp = 1 | (p->scanCode << 16) | (1 << 24) | (0 << 29) | (0 << 30) | (0 << 31);
            PostMessage(g_hWnd, (UINT)wParam, p->vkCode, lp);
        
        else if (wParam == WM_KEYUP) 
            int lp = 1 | (p->scanCode << 16) | (1 << 24) | (0 << 29) | (1 << 30) | (1 << 31);
            PostMessage(g_hWnd, (UINT)wParam, p->vkCode, lp);
        
    

    return CallNextHookEx(NULL, nCode, wParam, lParam);

所有代码

https://github.com/he55/DreamScene2

看板娘使用方法 https://www.cnblogs.com/he55/p/15705047.html

写在最后

下一步会增加 ffmpeg 视频播放引擎