HTTP协议开发应用-文件服务器

Posted 2020-08-23 wade&luffy

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HTTP协议开发应用-文件服务器相关的知识，希望对你有一定的参考价值。

HTTP（超文本传输协议）协议是建立在TCP传输协议之上的应用层协议。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。

本文将重点介绍如何基于Netty的HTTP协议栈进行HTTP服务端和客户端开发。由于Netty的HTTP协议栈是基于Netty的NIO通信框架开发的，因此，Netty的HTTP协议也是异步非阻塞的。

HTTP协议介绍

HTTP协议的主要特点如下：

支持Client/Server模式；
简单——客户向服务器请求服务时，只需指定服务URL，携带必要的请求参数或者消息体；
灵活——HTTP允许传输任意类型的数据对象，传输的内容类型由HTTP消息头中的Content-Type加以标记；
无状态——HTTP协议是无状态协议，无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要之前的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快，负载较轻。

HTTP协议的URL

HTTP URL（URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息）的格式如下。

http://host[":"port][abs_path]

其中，http表示要通过HTTP协议来定位网络资源；host表示合法的Internet主机域名或者IP地址；port指定一个端口号，为空则使用默认端口80；abs_path指定请求资源的URI，如果URL中没有给出abs_path，那么当它作为请求URI时，必须以“/”的形式给出，通常这点工作浏览器会自动帮我们完成。

HTTP请求消息（HttpRequest）

HTTP请求由三部分组成，具体如下：

HTTP请求行；
HTTP消息头；
HTTP请求正文；

请求行以一个方法符开头，以空格分开，后面跟着请求的URI和协议的版本。

格式为：Method Request-URI HTTP-Version CRLF。

例如：GET /netty5.0 HTTP/1.1

其中Method表示请求方法，Request-URI是一个统一资源标识符，HTTP-Version表示请求的HTTP协议版本，CRLF表示回车和换行（除了作为结尾的CRLF外，不允许出现单独的CR或LF字符）。

请求方法有多种，各方法的作用如下：

GET：请求获取Request-URI所标识的资源；
POST：在Request-URI所标识的资源后附加新的提交数据；
HEAD：请求获取由Request-URI所标识的资源的响应消息报头；
PUT：请求服务器存储一个资源，并用Request-URI作为其标识；
DELETE：请求服务器删除Request-URI所标识的资源；
TRACE：请求服务器回送收到的请求信息，主要用于测试或诊断；
CONNECT：保留将来使用；
OPTIONS：请求查询服务器的性能，或者查询与资源相关的选项和需求。

例如：GET方法：以在浏览器的地址栏中输入网址的方式访问网页时，浏览器采用GET方法向服务器获取资源。例如，我们直接在浏览器中输入http://localhost:8080/netty-5.0.0

通过服务端抓包，打印HTTP请求消息头，内容如下。

GET /netty5.0 HTTP/1.1

Host: localhost:8080

Connection: keep-alive

User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (Khtml, like Gecko) Chrome/21.0.1180.89 Safari/537.1

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Encoding: gzip,deflate,sdch

Accept-Language: zh-CN,zh;q=0.8

Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3

Content-Length: 0

请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。常用的请求报头如表：

技术分享

HTTP请求消息体是可选的，比较常用的HTTP+XML协议就是通过HTTP请求和响应消息体来承载XML信息的。

HTTP响应消息（HttpResponse）

处理完HTTP客户端的请求之后，HTTP服务端返回响应消息给客户端，HTTP响应也是由三个部分组成，分别是：状态行、消息报头、响应正文。

状态行的格式为：HTTP-Version Status-Code Reason-Phrase CRLF，其中HTTP-Version表示服务器HTTP协议的版本，Status-Code表示服务器返回的响应状态代码，Status-Code表示服务器返回的响应状态代码。

状态代码由三位数字组成，第一个数字定义了响应的类别，它有5种可能取值。

（1）1xx：指示信息。表示请求已接收，继续处理；

（2）2xx：成功。表示请求已被成功接收、理解、接受；

（3）3xx：重定向。要完成请求必须进行更进一步的操作；

（4）4xx：客户端错误。请求有语法错误或请求无法实现；

（5）5xx：服务器端错误。服务器未能处理请求。

常见的状态代码、状态描述如表：

技术分享

响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。

常用的响应报头如表：

技术分享

Netty HTTP服务端入门开发

由于Netty天生是异步事件驱动的架构，因此基于NIO TCP协议栈开发的HTTP协议栈也是异步非阻塞的。

Netty的HTTP协议栈无论在性能还是可靠性上，都表现优异，非常适合在非Web容器的场景下应用，相比于传统的Tomcat、Jetty等Web容器，它更加轻量和小巧，灵活性和定制性也更好。

场景设计

以文件服务器为例学习Netty的HTTP服务端入门开发，例程场景如下：文件服务器使用HTTP协议对外提供服务，当客户端通过浏览器访问文件服务器时，对访问路径进行检查，检查失败时返回HTTP 403错误，该页无法访问；如果校验通过，以链接的方式打开当前文件目录，每个目录或者文件都是个超链接，可以递归访问。如果是目录，可以继续递归访问它下面的子目录或者文件，如果是文件且可读，则可以在浏览器端直接打开，或者通过【目标另存为】下载该文件。

HTTP服务端开发

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.Channel;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioserverSocketChannel;
import io.netty.handler.codec.http.HttpObjectAggregator;
import io.netty.handler.codec.http.HttpRequestDecoder;
import io.netty.handler.codec.http.HttpResponseEncoder;
import io.netty.handler.stream.ChunkedWriteHandler;

public class HttpFileServer {

    public void run(final int port, final String url) throws Exception {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer() {
                        @Override
                        protected void initChannel(Channel ch) throws Exception {
                            //首先向ChannelPipeline中添加HTTP请求消息解码器，
                            ch.pipeline().addLast("http-decoder",new HttpRequestDecoder());
                            //添加了HttpObjectAggregator解码器，
                            //它的作用是将多个消息转换为单一的FullHttpRequest或者FullHttpResponse，
                            //原因是HTTP解码器在每个HTTP消息中会生成多个消息对象。
                            //（1）HttpRequest / HttpResponse；
                            //（2）HttpContent；
                            //（3）LastHttpContent。
                            ch.pipeline().addLast("http-aggregator",new HttpObjectAggregator(65536));
                            //新增HTTP响应编码器，对HTTP响应消息进行编码；
                            ch.pipeline().addLast("http-encoder",new HttpResponseEncoder());
                            //新增Chunked handler，它的主要作用是支持异步发送大的码流（例如大的文件传输），
                            //但不占用过多的内存，防止发生Java内存溢出错误。
                            ch.pipeline().addLast("http-chunked",new ChunkedWriteHandler());
                            //添加HttpFileServerHandler，用于文件服务器的业务逻辑处理。
                            ch.pipeline().addLast("fileServerHandler",new HttpFileServerHandler(url));
                        }
                    });
            ChannelFuture future = b.bind("127.0.0.1", port).sync();
            System.out.println("HTTP文件目录服务器启动，网址是 : " + "http://127.0.0.1:"
                    + port + url);
            future.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) throws Exception {
        int port = 8080;
        if (args.length > 0) {
            try {
                port = Integer.parseInt(args[0]);
            } catch (NumberFormatException e) {
                e.printStackTrace();
            }
        }
        String url = "/Users";
        if (args.length > 1)
            url = args[1];
        //它有两个参数：第一个是端口，第二个是HTTP服务端的URL路径。
        new HttpFileServer().run(port, url);
    }
}


import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.*;
import io.netty.handler.codec.http.*;
import io.netty.handler.stream.ChunkedFile;
import io.netty.util.CharsetUtil;

import javax.activation.MimetypesFileTypeMap;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.RandomAccessFile;
import java.io.UnsupportedEncodingException;
import java.net.URLDecoder;
import java.util.regex.Pattern;

import static io.netty.handler.codec.http.HttpResponseStatus.*;
import static io.netty.handler.codec.http.HttpMethod.*;
import static io.netty.handler.codec.http.HttpHeaders.*;
import static io.netty.handler.codec.http.HttpHeaders.Names.*;
import static io.netty.handler.codec.http.HttpVersion.*;

public class HttpFileServerHandler extends SimpleChannelInboundHandler {

    private final String url;

    public HttpFileServerHandler(String url) {
        this.url = url;
    }

    @Override
    public void messageReceived(ChannelHandlerContext ctx, Object o) throws Exception {
        FullHttpRequest request = (FullHttpRequest) o;
        //首先对HTTP请求消息的解码结果进行判断，如果解码失败，直接构造HTTP 400错误返回。
        if (!request.getDecoderResult().isSuccess()) {
            sendError(ctx, BAD_REQUEST);
            return;
        }
        //对请求行中的方法进行判断，如果不是从浏览器或者表单设置为GET发起的请求（例如POST），则构造HTTP 405错误返回。
        if (request.getMethod() != GET) {
            sendError(ctx, METHOD_NOT_ALLOWED);
            return;
        }
        //对请求URL进行包装，然后对sanitizeUri方法展开分析。
        final String uri = request.getUri();
        final String path = sanitizeUri(uri);
        //如果构造的URI不合法，则返回HTTP 403错误。
        if (path == null) {
            sendError(ctx, FORBIDDEN);
            return;
        }
        //使用新组装的URI路径构造File对象。
        File file = new File(path);
        //如果文件不存在或者是系统隐藏文件，则构造HTTP 404异常返回。
        if (file.isHidden() || !file.exists()) {
            sendError(ctx, NOT_FOUND);
            return;
        }
        //如果文件是目录，则发送目录的链接给客户端浏览器。
        if (file.isDirectory()) {
            if (uri.endsWith("/")) {
                sendListing(ctx, file);
            } else {
                sendRedirect(ctx, uri + ‘/‘);
            }
            return;
        }
        //如果用户在浏览器上点击超链接直接打开或者下载文件
        //对超链接的文件进行合法性判断，如果不是合法文件，则返回HTTP 403错误。
        if (!file.isFile()) {
            sendError(ctx, FORBIDDEN);
            return;
        }
        //使用随机文件读写类以只读的方式打开文件，如果文件打开失败，则返回HTTP 404错误。
        RandomAccessFile randomAccessFile;
        try {
            randomAccessFile = new RandomAccessFile(file, "r");// 以只读的方式打开文件
        } catch (FileNotFoundException fnfe) {
            sendError(ctx, NOT_FOUND);
            return;
        }
        //获取文件的长度，构造成功的HTTP应答消息
        long fileLength = randomAccessFile.length();
        //在消息头中设置content length和content type
        HttpResponse response = new DefaultHttpResponse(HTTP_1_1, OK);
        setContentLength(response, fileLength);
        setContentTypeHeader(response, file);
        //判断是否是Keep-Alive，如果是，则在应答消息头中设置Connection为Keep-Alive。
        if (isKeepAlive(request)) {
            response.headers().set(CONNECTION, HttpHeaders.Values.KEEP_ALIVE);
        }
        //发送响应消息。
        ctx.write(response);
        ChannelFuture sendFileFuture;
        //通过Netty的ChunkedFile对象直接将文件写入到发送缓冲区中。
        sendFileFuture = ctx.write(
                new ChunkedFile(randomAccessFile, 0, fileLength, 8192),
                ctx.newProgressivePromise());
        //最后为sendFileFuture增加GenericFutureListener，如果发送完成，打印“Transfer complete.”。
        sendFileFuture.addListener(new ChannelProgressiveFutureListener() {
            @Override
            public void operationProgressed(ChannelProgressiveFuture future,
                                            long progress, long total) {
                if (total < 0) { // total unknown
                    System.err.println("Transfer progress: " + progress);
                } else {
                    System.err.println("Transfer progress:" + progress + "/" + total);
                }
            }

            @Override
            public void operationComplete(ChannelProgressiveFuture future)
                    throws Exception {
                System.out.println("Transfer complete.");
            }
        });
        //如果使用chunked编码，最后需要发送一个编码结束的空消息体，
        //将LastHttpContent的EMPTY_LAST_CONTENT发送到缓冲区中，标识所有的消息体已经发送完成，
        //同时调用flush方法将之前在发送缓冲区的消息刷新到SocketChannel中发送给对方。
        ChannelFuture lastContentFuture = ctx.writeAndFlush(LastHttpContent.EMPTY_LAST_CONTENT);
        //如果是非Keep-Alive的，最后一包消息发送完成之后，服务端要主动关闭连接。
        if (!isKeepAlive(request)) {
            lastContentFuture.addListener(ChannelFutureListener.CLOSE);
        }
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause)
            throws Exception {
        cause.printStackTrace();
        if (ctx.channel().isActive()) {
            sendError(ctx, INTERNAL_SERVER_ERROR);
        }
    }

    private static final Pattern INSECURE_URI = Pattern.compile(".*[<>&\"].*");

    private String sanitizeUri(String uri) {
        //首先使用JDK的java.net.URLDecoder对URL进行解码，使用UTF-8字符集，
        try {
            uri = URLDecoder.decode(uri, "UTF-8");
        } catch (UnsupportedEncodingException e) {
            try {
                uri = URLDecoder.decode(uri, "ISO-8859-1");
            } catch (UnsupportedEncodingException e1) {
                throw new Error();
            }
        }
        //解码成功之后对URI进行合法性判断，如果URI与允许访问的URI一致或者是其子目录（文件），则校验通过，否则返回空。
        if (!uri.startsWith(url)) {
            return null;
        }
        if (!uri.startsWith("/")) {
            return null;
        }
        //将硬编码的文件路径分隔符替换为本地操作系统的文件路径分隔符。
        uri = uri.replace(‘/‘, File.separatorChar);
        //对新的URI做二次合法性校验，如果校验失败则直接返回空。
        if (uri.contains(File.separator + ‘.‘)
                || uri.contains(‘.‘ + File.separator) || uri.startsWith(".")
                || uri.endsWith(".") || INSECURE_URI.matcher(uri).matches()) {
            return null;
        }
        //最后对文件进行拼接，使用当前运行程序所在的工程目录 + URI构造绝对路径返回。
//        return System.getProperty("user.dir") + File.separator + uri;
        return uri;
    }

    private static final Pattern ALLOWED_FILE_NAME = Pattern.compile("[A-Za-z0-9][-_A-Za-z0-9\\.]*");

    private static void sendListing(ChannelHandlerContext ctx, File dir) {
        //首先创建成功的HTTP响应消息
        FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, OK);
        //随后设置消息头的类型为“text/html; charset=UTF-8”。
        response.headers().set(CONTENT_TYPE, "text/html;charset=UTF-8");
        //用于构造响应消息体，由于需要将响应结果显示在浏览器上，所以采用了HTML的格式。
        StringBuilder buf = new StringBuilder();
        String dirPath = dir.getPath();
        buf.append("<!DOCTYPE HTML>\r\n");
        buf.append("<HTML><HEAD><TITLE>");
        buf.append(dirPath);
        buf.append(" 目录：");
        buf.append("</TITLE></HEAD><BODY>");
        buf.append("<H3>");
        buf.append(dirPath);
        buf.append(" 目录：");
        buf.append("</H3>\r\n");
        buf.append("<UL>");
        //打印了一个 ..的链接。
        buf.append("<LI>链接：<a href=\"../\">..</a></LI>\r\n");
        //用于展示根目录下的所有文件和文件夹，同时使用超链接来标识。
        for (File f : dir.listFiles()) {
            if (f.isHidden() || !f.canRead()) {
                continue;
            }
            String name = f.getName();
            if (!ALLOWED_FILE_NAME.matcher(name).matches()) {
                continue;
            }
            buf.append("<LI>链接：<a href=\"");
            buf.append(name);
            buf.append("\">");
            buf.append(name);
            buf.append("</a></LI>\r\n");
        }
        buf.append("</UL></BODY></HTML>\r\n");
        //分配对应消息的缓冲对象
        ByteBuf buffer = Unpooled.copiedBuffer(buf, CharsetUtil.UTF_8);
        //将缓冲区中的响应消息存放到HTTP应答消息中，然后释放缓冲区
        response.content().writeBytes(buffer);
        buffer.release();
        //最后调用writeAndFlush将响应消息发送到缓冲区并刷新到SocketChannel中。
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    private static void sendRedirect(ChannelHandlerContext ctx, String newUri) {
        FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, FOUND);
        response.headers().set(LOCATION, newUri);
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    private static void sendError(ChannelHandlerContext ctx,
                                  HttpResponseStatus status) {
        FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, status, 
　　　　　　　　　　　　Unpooled.copiedBuffer("Failure: " + status.toString() + "\r\n", CharsetUtil.UTF_8));
        response.headers().set(CONTENT_TYPE, "text/plain; charset= UTF-8");
        ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
    }

    private static void setContentTypeHeader(HttpResponse response, File file) {
        MimetypesFileTypeMap mimeTypesMap = new MimetypesFileTypeMap();
        response.headers().set(CONTENT_TYPE, mimeTypesMap.getContentType(file.getPath()));
    }
}

运行结果：

技术分享