OpenGL C++ 鼠标光线拾取 glm:unproject

Posted 2023-02-16

【中文标题】OpenGL C++ 鼠标光线拾取 glm:unproject

【英文标题】：OpenGL C++ mouse ray picking glm:unproject

【发布时间】：2015-05-02 01:00:32

【问题描述】：

我目前正在开发 C++ 游戏引擎，我想在应用程序中构建鼠标交互。我以前通过光线拾取来完成此操作，但当时我使用的是固定的鼠标位置，现在我想不这样做。我读到您可以使用 glm::unProject 函数来执行此操作，但我的只是不起作用。这个函数给出的坐标不正确。我做错了什么？

rscore_projection_matrix = glm::perspective(45.0f, (float)(windowWidth)/(float)(windowHeight), 0.1f, 1000.0f);
rscore_view_matrix = glm::lookAt(glm::vec3(lengthdir_x(16, rscam_direction)+rscam_x, rscam_z, lengthdir_y(16, rscam_direction)+rscam_y), glm::vec3(rscam_x, 0, rscam_y), glm::vec3(0,1,0));
rscore_model_matrix = glm::mat4(1.0f);
glm::vec3 screenPos = glm::vec3(rscore_mouse_x, rscore_mouse_y, 0.1f);
glm::vec4 viewport = glm::vec4(0.0f, 0.0f, windowWidth, windowHeight);
glm::vec3 worldPos = glm::unProject(screenPos, rscore_model_matrix, rscore_projection_matrix, viewport);

我使用 vec3 worldPos 位置来绘制对象。

【问题讨论】：

“只是不起作用”是什么意思？你真的应该提供更多的源代码。您用于渲染的矩阵是否相同？ screenPos 是否实际上使用了正确的 OpenGL 修道院（原点位于视口的左下方）？

@derhass 是的，上面的 3 个变量也是我用来渲染场景的变量。我也尝试在 screenPos 代码中镜像垂直鼠标，但这也不能正常工作。我画了一个立方体，它应该代表 3d 空间中的鼠标光标，但是这个立方体就在房间的某个地方（我认为是原点），并且当我移动鼠标光标时移动了一点点。我也不明白为什么 unProject 脚本中不涉及视图矩阵。

必须涉及到视图矩阵。 GLM 的“模型”参数名称在这里可能有点误导。你必须把 modelView 矩阵放在那里。

【参考方案1】：

不确定这是否会对您有所帮助，但我以这种方式实现了光线拾取（计算光线的方向）：

glm::vec3 CFreeCamera::CreateRay() 
    // these positions must be in range [-1, 1] (!!!), not [0, width] and [0, height]
    float mouseX = getMousePositionX() / (getWindowWidth()  * 0.5f) - 1.0f;
    float mouseY = getMousePositionY() / (getWindowHeight() * 0.5f) - 1.0f;

    glm::mat4 proj = glm::perspective(FoV, AspectRatio, Near, Far);
    glm::mat4 view = glm::lookAt(glm::vec3(0.0f), CameraDirection, CameraUpVector);

    glm::mat4 invVP = glm::inverse(proj * view);
    glm::vec4 screenPos = glm::vec4(mouseX, -mouseY, 1.0f, 1.0f);
    glm::vec4 worldPos = invVP * screenPos;

    glm::vec3 dir = glm::normalize(glm::vec3(worldPos));

    return dir;


// Values you might be interested:
glm::vec3 cameraPosition; // some camera position, this is supplied by you
glm::vec3 rayDirection = CFreeCamera::CreateRay();
glm::vec3 rayStartPositon = cameraPosition;
glm::vec3 rayEndPosition = rayStartPosition + rayDirection * someDistance;

说明：

当您将顶点的位置与视图和投影矩阵相乘时，您将得到像素位置。如果将像素位置乘以 View 和 Projection 矩阵的反转，则得到世界位置。

虽然计算逆矩阵很昂贵，但我不确定 glm::unProject 是如何工作的，它可能会做同样的事情。

这只会为您提供面向世界的光线方向（并且您应该已经有了相机的位置）。此代码不会与对象发生“碰撞”。

相机类的其余代码为here。

可以找到更多信息 - 例如 - here。

【讨论】：

我已经把代码改成了你的，但是如何计算光线起点和终点的 dir？我已经尝试了一点，但光线现在总是在相机后面。 float tcam_x, tcam_y, tcam_z; tcam_x = lengthdir_x(16, rscam_direction)+rscam_x; tcam_z = rscam_z; tcam_y = lengthdir_y(16, rscam_direction)+rscam_y; glm::vec3 dir = glm::normalize(glm::vec3(worldPos)); cx = dir[0]*16+tcam_x; cy = dir[2]*16+tcam_y; cz = dir[1]*16+tcam_z;

我不确定是什么问题，而且您的代码没有任何意义（另外，将其发布在 pastebin 等网站上）。有关此技术的详细说明，请参阅 here 或有关 *** 相关网站的较短版本的 here 和 here。基本上起点是相机的位置（所以它不能在后面！），终点是起点+方向*一些（最大）距离。

另外，我之前没有写过，但是你的鼠标坐标必须缩放到 [-1, 1]（设备坐标），而不是 [0, width] 和 [0, height]。答案已更新。

谢谢，鼠标缩放到-1后，1终于可以了！

我的光线一直指向同一个方向。我可以告诉我在渲染对象时我的投影和视图都很好......

【参考方案2】：

您可以在下面看到gluUnproject 的工作原理。这突出了您忘记使用视图矩阵而只使用模型矩阵的事实。

int glhUnProjectf(float winx, float winy, float winz,
    float* modelview, float* projection, int* viewport, float* objectCoordinate)

    // Transformation matrices
    float m[16], A[16];
    float in[4], out[4];
    // Calculation for inverting a matrix, compute projection x modelview
    // and store in A[16]
    MultiplyMatrices4by4OpenGL_FLOAT(A, projection, modelview);
    // Now compute the inverse of matrix A
    if(glhInvertMatrixf2(A, m)==0)
       return 0;
    // Transformation of normalized coordinates between -1 and 1
    in[0]=(winx-(float) viewport[0])/(float) viewport[2]*2.0-1.0;
    in[1]=(winy-(float) viewport[1])/(float) viewport[3]*2.0-1.0;
    in[2]=2.0* winz-1.0;
    in[3]=1.0;
    // Objects coordinates
    MultiplyMatrixByVector4by4OpenGL_FLOAT(out, m, in);
    if(out[3]==0.0)
       return 0;
    out[3]=1.0/out[3];
    objectCoordinate[0]=out[0]*out[3];
    objectCoordinate[1]=out[1]*out[3];
    objectCoordinate[2]=out[2]*out[3];
    return 1;

代码取自here。

【参考方案3】：

这个函数的glm实现（documentation）：

template<typename T, typename U, qualifier Q>
GLM_FUNC_QUALIFIER vec<3, T, Q> unProjectZO(vec<3, T, Q> const& win, mat<4, 4, T, Q> const& model, mat<4, 4, T, Q> const& proj, vec<4, U, Q> const& viewport)

    mat<4, 4, T, Q> Inverse = inverse(proj * model);

    vec<4, T, Q> tmp = vec<4, T, Q>(win, T(1));
    tmp.x = (tmp.x - T(viewport[0])) / T(viewport[2]);
    tmp.y = (tmp.y - T(viewport[1])) / T(viewport[3]);
    tmp.x = tmp.x * static_cast<T>(2) - static_cast<T>(1);
    tmp.y = tmp.y * static_cast<T>(2) - static_cast<T>(1);

    vec<4, T, Q> obj = Inverse * tmp;
    obj /= obj.w;

    return vec<3, T, Q>(obj);


template<typename T, typename U, qualifier Q>
GLM_FUNC_QUALIFIER vec<3, T, Q> unProjectNO(vec<3, T, Q> const& win, mat<4, 4, T, Q> const& model, mat<4, 4, T, Q> const& proj, vec<4, U, Q> const& viewport)

    mat<4, 4, T, Q> Inverse = inverse(proj * model);

    vec<4, T, Q> tmp = vec<4, T, Q>(win, T(1));
    tmp.x = (tmp.x - T(viewport[0])) / T(viewport[2]);
    tmp.y = (tmp.y - T(viewport[1])) / T(viewport[3]);
    tmp = tmp * static_cast<T>(2) - static_cast<T>(1);

    vec<4, T, Q> obj = Inverse * tmp;
    obj /= obj.w;

    return vec<3, T, Q>(obj);