一. Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个m…

在WEB开发中经常会遇到写文件的情况，最常见的莫过于保存图片文件。如果是文件数量不多，那我们完全没有必要担心其效率问题。但是当你有大量的用户，大量的图片的时候，我们怎么存储图片文件，就会直接影响整个图片存储系统的效率。 …

Android自动化构建之使用Gradle下载与处理文件 一般情况下，我们的项目构建并不需要再去导入其他文件。但如果自己项目正在维护一个自己的library module，而这个library内又维护着大量会经常更新的S…

文件系统介绍 文件系统的作用就是永久存储数据。计算机可以存储数据的地方是内存，硬盘，优盘，SD 卡等等。如果计算机断电关机，存放在内存里的数据就没有了，而存放在硬盘优盘 SD 卡这些上的数据会仍然存在。硬盘优盘SD 卡上…

学习SQLiteDatabase之前我们需要了解的是： SQLiteDatabase其实是可以直接在Activity中代码创建的 db文件其实就是一个文件(以单个文件存在)，当找到db文件名路径的时候，可以用file的d…

分布式系统里的Shuffle 阶段往往是非常复杂的，而且分支条件也多，我只能按着我关注的线去描述。肯定会有不少谬误之处，我会根据自己理解的深入，不断更新这篇文章。 前言 借用和董神的一段对话说下背景： shuffle共有…

文件句柄的概念 在Perl中，文件句柄就是一个程序与外界文件间的I/O联系的名称，又可以理解为一种通道。即一个文件句柄建立了程序本身与外界某一文件之间的一个专用联系通道，这种联系可以为读取、输出以及其他方式，而文件句柄本…

管道中数据保存成json格式，但是文件每一行是独立的{} 字典结构，整个文件不是标准的json结构。 需要在每一行的末尾加上’,’和换行，整个文件需要用[]包括起来，这样文件才是标准的json格式…

前言 在开发的过程中，我们有时会遇到这种情况： 你在建立本地数据库的时候需要用到一个db文件中的数据，那么怎么处理呢？ 你需要： 将db文件复制到自己的项目中 将db文件中的数据拷贝到自己的sqlite中(会涉及到自定义…

vcftools是一种可以对VCF文件和BCF文件进行格式转换及过滤的工具，其中很多过滤及计算功能我们可以自己使用perl或者python编写脚本实现，但都不如这个工具的运算速度快。 有些奇怪的是需要到网页上查看他的使用…

判断文件类型在开发中非常常见的需求，怎样才能准确的判断文件类型呢？首先大家想到的是文件的后缀，但是非常遗憾的是这种方法是非常不靠谱的，因为文件的后缀是可以随意更改的，而大家都知道后缀在linux系统下是没有这个概念的，所…

访问文件的机制发生了彻底的变化。在PHP4.3.0以前，每一个文件类型（本地、压缩、远程）都有不同的执行方式。但是，通过引入流处理，与一个文件的每一次交互都使用流处理层，它抽象访问特殊对象的“文件”的执行细节。流处理层可…