使用 PHP 流式传输大文件

Posted

技术标签:

【中文标题】使用 PHP 流式传输大文件【英文标题】:Streaming a large file using PHP 【发布时间】:2015-07-28 19:56:45 【问题描述】:

我有一个 200MB 的文件,我想通过下载提供给用户。但是,由于我们希望用户只下载此文件一次,因此我们这样做:

echo file_get_contents('http://some.secret.location.com/secretfolder/the_file.tar.gz');

强制下载。但是,这意味着必须将整个文件加载到内存中,这通常是行不通的。我们如何将这个文件以每块一些 kb 流式传输给他们?

【问题讨论】:

使用stream_copy_to_stream(fopen('file.ext', 'rb')), STDOUT) 将流通过管道传输到标准输出。如果您的默认缓冲区大小需要调整,请使用stream_set_chunk_size($fp, $size) 【参考方案1】:

尝试这样的事情(来源http://teddy.fr/2007/11/28/how-serve-big-files-through-php/):

<?php
define('CHUNK_SIZE', 1024*1024); // Size (in bytes) of tiles chunk

// Read a file and display its content chunk by chunk
function readfile_chunked($filename, $retbytes = TRUE) 
    $buffer = '';
    $cnt    = 0;
    $handle = fopen($filename, 'rb');

    if ($handle === false) 
        return false;
    

    while (!feof($handle)) 
        $buffer = fread($handle, CHUNK_SIZE);
        echo $buffer;
        ob_flush();
        flush();

        if ($retbytes) 
            $cnt += strlen($buffer);
        
    

    $status = fclose($handle);

    if ($retbytes && $status) 
        return $cnt; // return num. bytes delivered like readfile() does.
    

    return $status;


// Here goes your code for checking that the user is logged in
// ...
// ...

if ($logged_in) 
    $filename = 'path/to/your/file';
    $mimetype = 'mime/type';
    header('Content-Type: '.$mimetype );
    readfile_chunked($filename);

 else 
    echo 'Tabatha says you haven\'t paid.';

?>

【讨论】:

块也可以压缩吗? ini_set('zlib.output_compression', 'On'); 如果下载被中断,该流是否会以用户可以恢复下载的方式进行? $status = fclose($handle); 行导致我的浏览器在从下载 标记调用时重定向到脚本 url。这会阻止下载。由于在我的情况下文件句柄自行关闭,我省略了这一点,一切正常。我很好奇是否有人明白为什么。【参考方案2】:

看看fsockopen()手册页中的例子:

$fp = fsockopen("www.example.com", 80, $errno, $errstr, 30);
if (!$fp) 
    echo "$errstr ($errno)<br />\n";
 else 
    $out = "GET / HTTP/1.1\r\n";
    $out .= "Host: www.example.com\r\n";
    $out .= "Connection: Close\r\n\r\n";
    fwrite($fp, $out);
    while (!feof($fp)) 
        echo fgets($fp, 128);
    
    fclose($fp);

这将连接到www.example.com,发送一个请求,然后获取并以 128 字节块的形式回显响应。您可能希望使其超过 128 个字节。

【讨论】:

这是如何传输文件的...?特别是如果文件在 webroot 之外,该解决方案将不起作用。 如果我错了,请纠正我,但是使用原始套接字会迫使您自己实现您面临的每一个 HTTP 功能,例如重定向、压缩、加密、分块编码......它可能适用于特定场景,但它不是最好的通用解决方案。【参考方案3】:

使用fpassthru()。顾名思义,它不会在发送之前将整个文件读入内存,而是直接将其输出到客户端。

修改自示例in the manual:

<?php

// the file you want to send
$path = "path/to/file";

// the file name of the download, change this if needed
$public_name = basename($path);

// get the file's mime type to send the correct content type header
$finfo = finfo_open(FILEINFO_MIME_TYPE);
$mime_type = finfo_file($finfo, $path);

// send the headers
header("Content-Disposition: attachment; filename=$public_name;");
header("Content-Type: $mime_type");
header('Content-Length: ' . filesize($path));

// stream the file
$fp = fopen($path, 'rb');
fpassthru($fp);
exit;

如果您希望将内容直接流式传输到浏览器而不是下载(并且如果浏览器支持内容类型,例如视频、音频、pdf 等),请删除 Content-Disposition 标头。

【讨论】:

如果下载被中断,该流是否会以用户可以恢复下载的方式进行? @Bludream 不在当前形式中。要处理恢复下载,您应该检查客户端标头Range。如果存在字节值,则可以在文件上使用fseek(),并在发送之前发送适当的Content-Range 标头。 我不建议将其用于大文件,正如原始问题所述。较小的文件可以正常工作,但我在大文件上使用 fpassthru 并且我的下载因“允许的内存大小已用尽”而终止。 @Magmatic 是的,正如fpassthru 的手册所说,它会将文件输出到输出缓冲区。但是如果你先调用ob_end_flush(),那么输出缓冲就会被禁用,所以你不会达到你的内存限制:-D【参考方案4】:

我在http://codesamplez.com/programming/php-html5-video-streaming-tutorial找到了这个方法

对我来说效果很好

   <?php

class VideoStream

    private $path = "";
    private $stream = "";
    private $buffer = 102400;
    private $start  = -1;
    private $end    = -1;
    private $size   = 0;

    function __construct($filePath) 
    
        $this->path = $filePath;
    

    /**
     * Open stream
     */
    private function open()
    
        if (!($this->stream = fopen($this->path, 'rb'))) 
            die('Could not open stream for reading');
        

    

    /**
     * Set proper header to serve the video content
     */
    private function setHeader()
    
        ob_get_clean();
        header("Content-Type: video/mp4");
        header("Cache-Control: max-age=2592000, public");
        header("Expires: ".gmdate('D, d M Y H:i:s', time()+2592000) . ' GMT');
        header("Last-Modified: ".gmdate('D, d M Y H:i:s', @filemtime($this->path)) . ' GMT' );
        $this->start = 0;
        $this->size  = filesize($this->path);
        $this->end   = $this->size - 1;
        header("Accept-Ranges: 0-".$this->end);

        if (isset($_SERVER['HTTP_RANGE'])) 

            $c_start = $this->start;
            $c_end = $this->end;

            list(, $range) = explode('=', $_SERVER['HTTP_RANGE'], 2);
            if (strpos($range, ',') !== false) 
                header('HTTP/1.1 416 Requested Range Not Satisfiable');
                header("Content-Range: bytes $this->start-$this->end/$this->size");
                exit;
            
            if ($range == '-') 
                $c_start = $this->size - substr($range, 1);
            else
                $range = explode('-', $range);
                $c_start = $range[0];

                $c_end = (isset($range[1]) && is_numeric($range[1])) ? $range[1] : $c_end;
            
            $c_end = ($c_end > $this->end) ? $this->end : $c_end;
            if ($c_start > $c_end || $c_start > $this->size - 1 || $c_end >= $this->size) 
                header('HTTP/1.1 416 Requested Range Not Satisfiable');
                header("Content-Range: bytes $this->start-$this->end/$this->size");
                exit;
            
            $this->start = $c_start;
            $this->end = $c_end;
            $length = $this->end - $this->start + 1;
            fseek($this->stream, $this->start);
            header('HTTP/1.1 206 Partial Content');
            header("Content-Length: ".$length);
            header("Content-Range: bytes $this->start-$this->end/".$this->size);
        
        else
        
            header("Content-Length: ".$this->size);
          

    

    /**
     * close curretly opened stream
     */
    private function end()
    
        fclose($this->stream);
        exit;
    

    /**
     * perform the streaming of calculated range
     */
    private function stream()
    
        $i = $this->start;
        set_time_limit(0);
        while(!feof($this->stream) && $i <= $this->end) 
            $bytesToRead = $this->buffer;
            if(($i+$bytesToRead) > $this->end) 
                $bytesToRead = $this->end - $i + 1;
            
            $data = fread($this->stream, $bytesToRead);
            echo $data;
            flush();
            $i += $bytesToRead;
        
    

    /**
     * Start streaming video content
     */
    function start()
    
        $this->open();
        $this->setHeader();
        $this->stream();
        $this->end();
    

要使用这个类,你必须编写如下简单的代码:

$stream = new VideoStream($filePath);
$stream->start();

【讨论】:

【参考方案5】:

我也遇到了这个问题,使用 readfile() 强制下载。内存问题不在于 readfile,而在于输出缓冲。

只要确保在 readfile 之前关闭输出缓冲,问题就会得到解决。

if (ob_get_level()) ob_end_clean();
readfile($yourfile);

适用于大小远大于分配的内存限制的文件。

【讨论】:

以上是关于使用 PHP 流式传输大文件的主要内容,如果未能解决你的问题,请参考以下文章

在 ASP.NET 中流式传输大文件上传

Spring WebClient:如何将大字节 [] 流式传输到文件?

如何在 PowerShell 中使用 XmlReader 流式传输大/巨大的 XML 文件?

如何流式传输(大)日志文件?

使用 Protobuf-net 将大数据文件流式传输为 IEnumerable

GKE 流式传输大文件下载失败并出现部分响应