什么会导致 sock send() 命令出现“资源暂时不可用”

Posted 2023-02-24

【中文标题】什么会导致 sock send() 命令出现“资源暂时不可用”

【英文标题】：What can cause a “Resource temporarily unavailable” on sock send() command

【发布时间】：2012-12-31 11:38:22

【问题描述】：

什么会导致套接字send() 命令出现Resource temporarily unavailable 错误？套接字设置为AF_UNIX, SOCK_STREAM。它大部分时间都有效，但偶尔会出现此错误。套接字的接收端似乎工作正常。

我知道这不是很详细，但我只是在寻找一般的想法。谢谢！

【问题讨论】：

这有关系吗？ ***.com/questions/5737493/…

您是否将套接字设置为 O_NONBLOCK ？

我认为这与该帖子无关。我的套接字是 SOCK_STREAM，我认为这是我想要的阻塞。

流是阻塞还是非阻塞与 SOCK_STREAM 还是 SOCK_DGRAM 无关。那里的答案是相关的。

【参考方案1】：

"Resource temporarily unavailable" 是与EAGAIN 对应的错误消息，这意味着该操作将被阻塞但请求了非阻塞操作。对于send()，这可能是由于：

用fcntl() 明确地将文件描述符标记为非阻塞；或 将MSG_DONTWAIT 标志传递给send()；或 使用SO_SNDTIMEO 套接字选项设置发送超时。

【讨论】：

我的问题的原因是设置了发送超时。谢谢你的帮助！

@caf，在我的例子中，当发生高速率的数据包交换时，两侧的不同 MTU 大小配置导致 sctp 关联 Txqueue 溢出。使两个系统上的 MTU 相同会使问题消失。但是谁能解释一下问题背后的原因是什么？

为什么设置 SO_SNDTIMEO 会导致错误发生？如何正确使用该标志？

@GabrielFernandez：因为这是SO_SNDTIMEO 要求的：发送不会阻塞超过超时期限。如果发送未完成且超时，则返回EAGAIN 以指示此情况。如何处理取决于您的应用程序，请记住您尝试发送的数据尚未发送。

【参考方案2】：

那是因为您正在使用non-blocking 套接字并且输出缓冲区已满。

来自send() 手册页

   When the message does not fit into  the  send  buffer  of  the  socket,
   send() normally blocks, unless the socket has been placed in non-block-
   ing I/O mode.  In non-blocking mode it  would  return  EAGAIN  in  this
   case.  

EAGAIN 是与“资源暂时不可用”相关的错误代码

考虑使用select() 来更好地控制这种行为

【讨论】：

@giroy：但实际上并不正确...实际上是一个 阻塞 套接字，带有SO_SNDTIMEO

很酷，但是我们如何使用其他连接来管理数据库中的同时读取？

【参考方案3】：

让我举个例子：

客户端连接服务器，每1秒向服务器发送1MB数据。

服务器端接受一个连接，然后休眠20秒，没有来自客户端的recv msg。所以客户端的tcp send buffer会被填满。

客户端代码：

#include <arpa/inet.h>
#include <sys/socket.h>
#include <stdio.h>
#include <errno.h>
#include <fcntl.h>
#include <stdlib.h>
#include <string.h>
#define exit_if(r, ...)                                                                          \
    if (r)                                                                                      \
        printf(__VA_ARGS__);                                                                     \
        printf("%s:%d error no: %d error msg %s\n", __FILE__, __LINE__, errno, strerror(errno)); \
        exit(1);                                                                                 \
    

void setNonBlock(int fd) 
    int flags = fcntl(fd, F_GETFL, 0);
    exit_if(flags < 0, "fcntl failed");
    int r = fcntl(fd, F_SETFL, flags | O_NONBLOCK);
    exit_if(r < 0, "fcntl failed");


void test_full_sock_buf_1()
    short port = 8000;
    struct sockaddr_in addr;
    memset(&addr, 0, sizeof addr);
    addr.sin_family = AF_INET;
    addr.sin_port = htons(port);
    addr.sin_addr.s_addr = INADDR_ANY;


    int fd = socket(AF_INET, SOCK_STREAM, 0);
    exit_if(fd<0, "create socket error");

    int ret = connect(fd, (struct sockaddr *) &addr, sizeof(struct sockaddr));
    exit_if(ret<0, "connect to server error");
    setNonBlock(fd);

    printf("connect to server success");

    const int LEN = 1024 * 1000;
    char msg[LEN];  // 1MB data
    memset(msg, 'a', LEN);

    for (int i = 0; i < 1000; ++i) 
        int len = send(fd, msg, LEN, 0);
        printf("send: %d, erron: %d, %s \n", len, errno, strerror(errno));
        sleep(1);
    



int main()
    test_full_sock_buf_1();

    return 0;

服务器端代码：

    #include <arpa/inet.h>
    #include <sys/socket.h>
    #include <stdio.h>
    #include <errno.h>
    #include <fcntl.h>
    #include <stdlib.h>
    #include <string.h>
    #define exit_if(r, ...)                                                                          \
        if (r)                                                                                      \
            printf(__VA_ARGS__);                                                                     \
            printf("%s:%d error no: %d error msg %s\n", __FILE__, __LINE__, errno, strerror(errno)); \
            exit(1);                                                                                 \
        
void test_full_sock_buf_1()

    int listenfd = socket(AF_INET, SOCK_STREAM, 0);
    exit_if(listenfd<0, "create socket error");

    short port = 8000;
    struct sockaddr_in addr;
    memset(&addr, 0, sizeof addr);
    addr.sin_family = AF_INET;
    addr.sin_port = htons(port);
    addr.sin_addr.s_addr = INADDR_ANY;

    int r = ::bind(listenfd, (struct sockaddr *) &addr, sizeof(struct sockaddr));
    exit_if(r<0, "bind socket error");

    r = listen(listenfd, 100);
    exit_if(r<0, "listen socket error");

    struct sockaddr_in raddr;
    socklen_t rsz = sizeof(raddr);
    int cfd = accept(listenfd, (struct sockaddr *) &raddr, &rsz);
    exit_if(cfd<0, "accept socket error");

    sockaddr_in peer;
    socklen_t alen = sizeof(peer);
    getpeername(cfd, (sockaddr *) &peer, &alen);

    printf("accept a connection from %s:%d\n", inet_ntoa(peer.sin_addr), ntohs(peer.sin_port));

    printf("but now I will sleep 15 second, then exit");
    sleep(15);

启动服务器端，然后启动客户端。

服务器端可能会输出：

accept a connection from 127.0.0.1:35764
but now I will sleep 15 second, then exit
Process finished with exit code 0

客户端可能会输出：

connect to server successsend: 1024000, erron: 0, Success 
send: 1024000, erron: 0, Success 
send: 1024000, erron: 0, Success 
send: 552190, erron: 0, Success 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 11, Resource temporarily unavailable 
send: -1, erron: 104, Connection reset by peer 
send: -1, erron: 32, Broken pipe 
send: -1, erron: 32, Broken pipe 
send: -1, erron: 32, Broken pipe 
send: -1, erron: 32, Broken pipe 
send: -1, erron: 32, Broken pipe 

可以看到，由于服务器端并没有从客户端接收数据，所以当客户端tcp buffer满了，但你仍然发送数据，所以你可能会得到Resource temporarily unavailable的错误。