操作系统升级后 mmap 行为改变了吗？

Posted 2023-02-18

【中文标题】操作系统升级后 mmap 行为改变了吗？

【英文标题】：mmap behaviour changed after OS upgrade?

【发布时间】：2020-08-27 06:01:28

【问题描述】：

在主要的操作系统升级后，此 C 代码行为发生了变化：

...
if ((fd = open(argv[1], O_RDWR | O_SYNC)) == -1)
    FATAL;
printf("character device %s opened.\n", argv[1]);
fflush(stdout);

/* map one page */
map_base = mmap(0xe0000000, MAP_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
if (map_base == (void *)-1)
    FATAL;
printf("Memory mapped at address %p.\n", map_base);
...

对于从旧操作系统继承的二进制文件，“旧 mmap”返回虚拟地址 0x7fb20d725000。如果我在新操作系统上重建相同的 C 文件，它会返回 0xe0000000，这似乎是一个物理的，随后的代码 - 使用这个返回的地址 - 现在因分段错误而失败。

如何在不降级操作系统或使用旧二进制文件的情况下强制mmap 像以前一样工作？ gcc 或 mmap 本身的任何现代标志？

使用sudo ./test /dev/zero 0x01000000 运行下面的代码示例：（/dev/zero 代替真实设备会得到相同的结果）

#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <byteswap.h>
#include <string.h>
#include <errno.h>
#include <signal.h>
#include <fcntl.h>
#include <ctype.h>
#include <termios.h>
#include <sys/types.h>
#include <sys/mman.h>
/* ltoh: little to host */
/* htol: little to host */
#if __BYTE_ORDER == __LITTLE_ENDIAN
#define ltohl(x)       (x)
#define ltohs(x)       (x)
#define htoll(x)       (x)
#define htols(x)       (x)
#elif __BYTE_ORDER == __BIG_ENDIAN
#define ltohl(x)     __bswap_32(x)
#define ltohs(x)     __bswap_16(x)
#define htoll(x)     __bswap_32(x)
#define htols(x)     __bswap_16(x)
#endif

#define FATAL do  fprintf(stderr, "Error at line %d, file %s (%d) [%s]\n", __LINE__, __FILE__, errno, strerror(errno)); exit(1);  while(0)

#define MAP_SIZE (16*1024*1024UL)
#define MAP_MASK (MAP_SIZE - 1)

int main(int argc, char **argv)

    int fd;
    void *map_base, *virt_addr;
    uint32_t read_result, writeval;
    off_t target;
    char *device;
    if (argc != 3) 
        fprintf(stderr,
            "\nUsage:\t%s <device> <address> [[type] data]\n"
            "\tdevice  : character device to access\n"
            "\taddress : memory address to access\n\n",
            argv[0]);
        exit(1);
    

    device = strdup(argv[1]);
    target = strtoul(argv[2], 0, 0);
    fprintf("argc = %d, device: %s, address: 0x%08x\n", argc, device, (unsigned int)target);

    if ((fd = open(argv[1], O_RDWR | O_SYNC)) == -1)
        FATAL;
    fprintf(stdout, "character device %s opened.\n", argv[1]);
      fflush(stdout);

    /* map one page */
    map_base = mmap(0xe0000000, MAP_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (map_base == (void *)-1)
        FATAL;
    fprintf(stdout, "Memory mapped at address %p.\n", map_base);
      fflush(stdout);

    /* calculate the virtual address to be accessed */
    virt_addr = map_base + target;
    /* read only */
    read_result = *((uint32_t *) virt_addr);
    /* swap 32-bit endianess if host is not little-endian */
    read_result = ltohl(read_result);
    printf("Read 32-bit value at address 0x%08x (%p): 0x%08x\n",
                (unsigned int)target, virt_addr, (unsigned int)read_result);

    if (munmap(map_base, MAP_SIZE) == -1)
        FATAL;
    close(fd);
    return 0;

【问题讨论】：

您是否更改了代码中的任何内容？比如头文件或者你编译的方式？请创建一个minimal reproducible example。我也很好奇FATAL是如何定义的

您必须比这更具体。映射后如何使用页面？ 什么 因分段错误而失败？您为什么首先将其映射到该地址？你在什么架构上？我想x86 64位，对吗？此外，这绝对是不是一个物理地址。请提供可以编译以重现问题的最小示例代码。

请减少代码。这绝对不是最小的

@qmastery 您的代码看起来和工作正常，除了将文件作为第一个参数的fprintf 和您应该将地址转换为void * 的mmap。我没有看到任何明显的错误。您确定运行它会导致分段错误吗？如果是这种情况，添加内核版本 (uname -r) 可能也会有所帮助。

@qmastery 当然，如果您映射16 * 1024 * 1024（即0x01000000）然后您尝试读取超出此范围的内容（即任何高于或等于0x01000000 的偏移量），就会发生这种情况，这只是映射区域的超大）。你能指望什么？当然会导致分段错误。没什么好讨论的……

【参考方案1】：

您似乎混淆了虚拟地址和物理地址。用户程序通常只使用虚拟地址。 mmap 系统调用接受 hint 作为第一个参数：请求的映射区域的所需 虚拟 地址。请参阅man 2 mmap 了解更多信息。

您之前的程序最有可能发生的情况是对mmap 的调用可能类似于：

map_area = mmap(NULL, /* same arguments here */);

这样，操作系统会选择一个合适的地址并返回。

相反，您在新程序中所做的是让操作系统知道您更喜欢特定地址 (0xe...)，并且操作系统会在可能的情况下（很可能）将内存映射到该地址。你真的不需要这个，无论映射区域的位置如何，程序都可以工作，但无论如何你都可以保留它。

出现分段错误的原因是因为您正在映射 16 * 1024 * 1024 字节 (0x01000000) 的区域，但是您正在以高于指定大小 (target >= 0x01000000) 的偏移量访问内存。

正确的方法是使用mmap 的offset 参数来请求从文件中的适当偏移量开始的映射。请求从该偏移量开始的两个页面的映射将确保您要读取或写入的内容将被正确映射（假设文件足够大，否则将返回MAP_FAILED）。

应该这样做：

offset = target & 0xFFFFFFFFFFFFF000; // align target to page size

// Map two pages starting at 0xe... and corresponding to the calculated offset in the file.
map_base = mmap((void *)0xe0000000, 0x1000 * 2, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, offset);

// ...

virt_addr = map_base + (target & 0xfff); // cut target to get offset within the mapped pages
read_result = *((uint32_t *) virt_addr);
read_result = ltohl(read_result);

printf("Read 32-bit value at address 0x%08x (%p): 0x%08x\n",
            (unsigned int)target, virt_addr, (unsigned int)read_result);