LD_PRELOAD-ed open() + __xstat() + syslog() 结果进入 EBADF

Posted 2023-02-22

【中文标题】LD_PRELOAD-ed open() + __xstat() + syslog() 结果进入 EBADF

【英文标题】：LD_PRELOAD-ed open() + __xstat() + syslog() result into EBADF

【发布时间】：2020-04-16 23:48:24

【问题描述】：

我在使用 GLIBC 2.29 和内核 5.2.18-200.fc30.x86_64 的 Fedora 30 机器上

$ rpm -qf /usr/lib64/libc.so.6
glibc-2.29-28.fc30.x86_64

覆盖.c：

#define open Oopen
#define __xstat __Xxstat

#define _GNU_SOURCE
#include <dlfcn.h>
#include <stdio.h>
#include <sys/stat.h>
#include <syslog.h>
#include <errno.h>

#undef open
#undef __xstat

#ifndef DEBUG
#define DEBUG 1
#endif

#define LOG(fmt, ...)                                                          \
  do                                                                          \
    if (DEBUG)                                                                \
      int errno_ = errno;                                                      \
      /* fprintf(stderr, "override|%s: " fmt, __func__, __VA_ARGS__); */       \
      syslog(LOG_INFO | LOG_USER, "override|%s: " fmt, __func__, __VA_ARGS__); \
      errno = errno_;                                                          \
                                                                              \
   while (0)

/* Function pointers to hold the value of the glibc functions */
static int (*real_open)(const char *str, int flags, mode_t mode);
static int (*real___xstat)(int ver, const char *str, struct stat *buf);

int open(const char *str, int flags, mode_t mode) 
  LOG("%s\n", str);
  real_open = dlsym(RTLD_NEXT, __func__);
  return real_open(str, flags, mode);


int __xstat(int ver, const char *str, struct stat *buf) 
  LOG("%s\n", str);
  real___xstat = dlsym(RTLD_NEXT, __func__);
  return real___xstat(ver, str, buf);

它适用于我能想到的所有情况，但不是这个：

$ gcc -DDEBUG=1 -fPIC -shared -o liboverride.so override.c -ldl -Wall -Wextra -Werror
$ LD_PRELOAD=$PWD/liboverride.so bash -c "echo blah | xargs -I sh -c 'echo  | rev'"
rev: stdin: Bad file descriptor

但是，如果我注释掉 syslog() 以支持 fprintf()，它会起作用：

$ gcc -DDEBUG=1 -fPIC -shared -o liboverride.so override.c -ldl -Wall -Wextra -Werror
$ LD_PRELOAD=$PWD/liboverride.so bash -c "echo blah | xargs -I sh -c 'echo  | rev'"
override|open: /dev/tty
override|__xstat: /tmp/nwani_1587079071
override|__xstat: .
...
... yada ...
... yada ...
... yada ...
...
halb <----------------------------- !
...
... yada ...
... yada ...
... yada ...
override|__xstat: /usr/share/terminfo

那么，亲爱的朋友们，我该如何调试为什么使用syslog() 会变成EBADF？

================================================ ============================

更新：

无法在 Fedora 32-beta 上重现 以下命令也重现了同样的问题：

$ LD_PRELOAD=$PWD/liboverride.so bash -c "echo blah | xargs -I sh -c 'echo  | cat'"

有趣的是，如果我将 cat 替换为 /usr/bin/cat，问题就会消失。

================================================ ============================

更新：根据 Carlos 的回答，我在 findutils (xargs) 上运行了 git bisect，发现我的场景（无意中？）通过添加功能修复：

commit 40cd25147b4461979c0d992299f2c101f9034f7a
Author: Bernhard Voelker <[e-mail]>
Date:   Tue Jun 6 08:19:29 2017 +0200

    xargs: add -o, --open-tty option

    This option is available in the xargs implementation of FreeBSD, NetBSD,
    OpenBSD and in the Apple variant.  Add it for compatibility.

    * xargs/xargs.c (open_tty): Add static flag for the new option.
    (longopts): Add member.
    (main): Handle the 'o' case in the getopt_long() loop.
    (prep_child_for_exec): Redirect stdin of the child to /dev/tty when
    the -o option is given.  Furthermore, move the just-opened file
    descriptor to STDIN_FILENO.
    (usage): Document the new option.
    * bootstrap.conf (gnulib_modules): Add dup2.
    * xargs/xargs.1 (SYNOPSIS): Replace the too-long list of options by
    "[options]" - they are listed later anyway.
    (OPTIONS): Document the new option.
    (STANDARDS CONFORMANCE): Mention that the -o option is an extension.
    * doc/find.texi (xargs options): Document the new option.
    (Invoking the shell from xargs): Amend the explanation of the
    redirection example with a note about the -o option.
    (Viewing And Editing): Likewise.
    (Error Messages From xargs): Add the message when dup2() fails.
    (NEWS): Mention the new option.

    Fixes http://savannah.gnu.org/bugs/?51151

【问题讨论】：

sysloc() 是否曾致电 open()？

也许吧？ github.com/bminor/glibc/blob/… 。但即使是这样，它也不会通过我的包装器，对吧？

strace 将是一个选项

你们能否在您的机器上重现该问题？如果没有，您能否分享一下您在哪个版本的 glibc 上进行了测试？

【参考方案1】：

您覆盖的open 和__xstat 不得有任何可以被正在运行的进程看到的副作用。

没有进程期望open 或__xstat 关闭并重新打开编号最小的文件描述符，也不应该打开O_CLOEXEC，但这确实是syslog 在发现日志套接字失败时所做的。

解决方案是您必须在调用syslog 之后调用closelog，以避免任何副作用对进程可见。

失败场景如下所示：

xargs 关闭标准输入。 xargs 调用open 或stat。 liboverride.so 的日志调用 syslog 打开一个套接字，并获取 fd 0 作为套接字 fd。 xargs 调用fork。 xargs 调用 dup2 将正确的管道 fd 复制到标准输入，因此用新的标准输入覆盖 fd 0（期望没有其他东西可以打开 fd 0） xargs 即将调用 execve 但是... xargs 在 execve 之前调用 stat liboverride.so 的日志调用 syslog 并且实现检测到 sendto 失败，关闭 fd 0，并使用 O_CLOEXEC 将 fd 0 作为套接字 fd 重新打开并记录一条消息。 xargs 调用execve 运行 rev 并关闭 O_CLOEXEC 套接字 fd，fd 0。 rev 预计 fd 0 是标准输入，但它已关闭，因此无法从中读取，并在标准输出上写入一条错误消息以实现该效果（仍然有效）。

当您编写包装器时，您必须小心避免此类副作用。在这种情况下，使用closelog 相对容易，但可能并非总是如此。

根据您的 xargs 版本，fork 和 exec 之间可能会完成或多或少的工作，因此如果在 exec 之前未调用 liboverride.os 的日志记录函数，它可能会起作用。

【讨论】：

该死！我（错误地）假设 xargs 来自 coreutils 并跳过了对较新版本的测试。谢谢你的回答！