营业场景

需求

我们项目有一个文件上传需求，须要从客户端上传到七牛云的对象存储和本身的运用服务器上。这里运用七牛云主假如完成下载分发。运用服务器须要留一份是因为后续须要做文件剖析（而且是上传后须要立马剖析出结果展示给客户端）。别的，由因而早期项目，暂时没斟酌用自力服务器来剖析。

所用手艺栈

服务器：Centos7
拓荒言语：PHP
框架：Laravel
前端上传组件：百度的WebUploader

处置惩罚计划

正确的说我经过了三个阶段才真正圆满的完成了需求（主要处置惩罚上传速率）。

一期处置惩罚计划及细节

早期面临需求很轻易想到的思绪是：客户端先上传文件到运用服务器（因为上传完成能够实时做剖析），然后再上传到七牛云上。

所以我的处置惩罚计划是：前端用webuploader，后端的七牛云文件处置惩罚方面运用了Laravel的一个插件:overtrue/flysystem-qiniu (https://github.com/overtrue/f…，该插件的接口很简约好用（然则有坑，背面会说到）。

然后为了处置惩罚机能题目，我还做了以下事情：
1，运用分片上传
2，后续上传七牛云运用异步的体式格局（因为文件上传到其他运用来下载这个文件，中心有很多时候来让上传使命的完成）

关于分片上传

这里讲下分片上传的完成思绪，客户端主假如把大文件按肯定size举行分片，然后上传到服务器，所以会有多个要求，而且每一个要求还需带上症结的信息：当前chunk（从0最先）和chunks（总分片数）。因为我用的是WebUploader组件，所以客户端不必本身做什么，只需设置下简朴信息（是不是分片及分片大小）。

服务端处置惩罚逻辑为：
客户端一个要求过来，分两种状况：
1，文件总size小于要分片的size，这时候直接处置惩罚文件。
2，处置惩罚分片状况。

详细逻辑是推断chunk和chunks，假如相称申明为第一种状况，直接处置惩罚上传，其他走处置惩罚分片逻辑。

处置惩罚分片的逻辑为：保留当前分片到暂时目次（按分片定名），然后推断当统统分片完成时，就兼并文件。详细逻辑是推断 chunk + 1 是不是即是chunks。 兼并逻辑就是轮回读取暂时文件，然后写入到一个新的文件（兼并后的），这里能够趁便删除暂时文件。

所遇的坑：
这里处置惩罚碎片文件时，当初图方便运用了Laravel的文件处置惩罚接口Storage::append，然则这个接口有个坑就是它自作主张的文件末端到场换行符。致使兼并后的文件复原不成原始文件。处置惩罚办法是老老实实运用php的fopen、fwrite、fclose这一套。

关于PHP异步处置惩罚

关于PHP的异步完成能够参考鸟哥写的文章：http://www.laruence.com/2008/…

主要要领为：客户端AJAX、popen函数、curl、fsocketopen等

不过这篇文章比较老了，局限性也大，如今有了协程等处置惩罚计划（如今Swoole也供应协程计划了，而且client-server task分发这类也能够用swoole的），而且往架构方面斟酌能够运用行列等（觉得靠谱的照样行列）。

PS: 我这里前期用的是简朴粗犷的popen，厥后运用的是Laravel供应的行列。

一期计划的题目

经由过程上述所说的计划，很轻易就完成了一个版本。然则没愉快多久。。，在后续测试时碰到一个诡异bug，当文件过大时，使命剧本上传到七牛云失利。

这里剧本是写在Laravel的artisan中的，当我把剧本敕令直接在终端调试时也是没有任何非常（正确讲是看不了任何非常）

。前面我说过七牛这块SDK用的是overtrue/flysystem-qiniu ，而且为了斟酌机能题目用的是他的writeStream接口。

    $disk = Storage::disk('qiniu');
    $stream = fopen($localFileName, 'r');
    $disk->writeStream($fileName, $stream);

    if (is_resource($stream)) {
       fclose($stream);
    }

代码表面上看起来很抱负，用的是文件流上传（怕吃内存）。但结果证实统统只是表面上的。。

当我碰到大文件没法上传到七牛云时，断点调试到$disk->writeStream这里，发明返回的是false。 继而调试到overtrue/flysystem-qiniu这个扩大的源代码。然后发明了一个大坑。。

主假如两个题目：
1，writeStream只是个假的流写入

详细源码在扩大的QiniuAdapter.php文件中，这里贴段代码：

public function writeStream($path, $resource, Config $config)
{
    $contents = '';

    while (!feof($resource)) {
        $contents .= fread($resource, 1024);
    }

    $response = $this->write($path, $contents, $config);

    if (false === $response) {
        return $response;
    }

    return compact('path');
}

注重这里的$contents变量，终究照样等价于一个大文件内容的大小（服务器为此变量拓荒的内存）。而且后续还要在要领间通报。所以这里是假的流！

2，接口对调试不友好

另有在write要领中，屏障了$error，只返回false，如许不方便于我们查题目，终究我是断点打印这个$error才晓得报的毛病是：“invalid multipart format: multipart: message too large”，这个应该是七牛那里真正返回的，但这么主要的信息被这个扩大屏障了。

二期处置惩罚计划

晓得了一期计划的详细题目所在，我就一直在思索（谁人扩大就不提了。。我如今疑心它的存在意义。。），以至在想或许一最先全部思绪就错了（经由过程SDK上传文件的计划）。厥后还真被我找到了，七牛云官方供应一个剧本东西：Qshell（https://github.com/qiniu/qshell）。这个是敕令行运转剧本，详细操作看文档就能够了。放到我的项目也是集成到七牛的使命剧本中。

厥后测试能够了，全部流程能够跑通。

然则无意中发明二期的主要题目，这个上传走的是服务器的上行带宽！而我们寻常付费买的带宽就是买的上行带宽！（下行是平常是免费的）。这还怎么搞！因为我们上传营业是商户端运用的，日常平凡运用频次也不会太少，这会致使在上传时影响前端网站的接见速率。

这里详细讲下服务器带宽题目（网上查询后整顿的）：

起首对服务器带宽方向的形貌平常是用上行和下行，上传和下载是指行动。

上行是指从服务器流出的带宽，假如是在其他机械下载服务器上的文件，用的主假如服务器的上行带宽（这里说下我们日常平凡的网页阅读，实在也是差别客户端从服务器下数据, html文件、css等然后衬着，所以网页阅读占用的也是上行带宽）。

下行是指流入到服务器的带宽，假如是在其他机械上传文件到服务器，比方用FTP上传文件，用的主假如服务器的下行带宽（服务器高低载文件用的也是下行带宽）。

如今的云供应商比方阿里云不限定的是下行带宽，大部分服务器的运用环境，都是上行带宽用的多，下行带宽用的少。

经由过程对带宽的明白，再回到我们项目的上传完成思绪，能够看到一最先就错了（不该用运用服务器作为中转）！

三期（终究）计划

当初为了节省时候，直接跳过官方文档，而运用第三方扩大。 如今看来，不能不又回到官方文档了。

经由过程把七牛的文档过一遍，发明是有计划能够避开谁人占用服务器上行带宽的题目的。

主体思绪是要避开运用服务器上行带宽的运用，因为上行带宽很珍贵，只管运用下行带宽（免费、速率很快！阿里的也许60M多每秒）。

详细完成是经由过程七牛的表单上传计划直接把客户端的文件先上传到七牛（这一步基础不关运用服务器什么事，所以避开了，而且直接上传到七牛的速率非常快，基础只取决于用户端的网速，而且关于平常需求，七牛供应了关于到我们运用服务器的回调要领）。然后因为我们运用服务器也须要文件，所以计划是直接在我们运用服务器直接下载七牛的文件（这里能够同步阻塞住，前端做个守候结果处置惩罚用户体验题目）。因为前面说到流入到服务器占用的是下行带宽。所以这里速率也会非常快（而且是免费的^_^）。

这类计划基础是圆满的了。

总结

起首是对个人的检讨，前期调研不充足，然则项目早期有点紧，这里也申明投入时候的主要性。

其次关于项目履历：上传第三方云存储，万万不要运用运用服务器做中转！能够直接上传到第三方云服务器，假如有后续处置惩罚逻辑的，能够运用他们的回调接口。