索引是对数据库中一列或几列的数据按照特定的数据结构进行排序保存的一种方式。使用索引可以加快数据库查询或排序时的速度。如果不使用索引那么查询数据时就会进行全表扫描也就是每条数据读取一遍看是不是要找的值，而使用索引可以快速找…

实时分析系统(HIVE/HBASE/IMPALA)浅析 – 大数据和云计算技术 （欢迎关注同名微信公众号） – ITeye技术网站 http://jiezhu2007.iteye.com/blog…

Hive 数据倾斜总结 – 菠萝大数据梦工厂（Free World） – 博客频道 – CSDN.NET http://blog.csdn.net/jiangshouzhuang/ar…

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护…

假设你创建了一个Ionic 2应用，在其中用户可以创建购物清单。用户下载了你的应用，花了5分钟添加他们的清单然后关掉应用…然后数据都付诸东流了。 通常制作移动应用的时候你需要去存储数据好让用户稍后获取。大部分…

4.5.2 外部表 1．理论 因为表是外部表，所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。 2．管理表和外部表的使用场景 每天将收集到的网站日志定期流入HDFS…

使用场景： 一、如果需要缓存的数据只是key-value 这样简单的结构时，采用Memcache，足够稳定可靠。如果有持久化需求、存储、排序等一系列复制操作时，或者对数据结构和处理有高级要求的应用，选择Redis。 二、…

1. 查询的过程 查询的生命周期: 从客户端, 到服务器, 然后在服务器上进行解析, 生成执行计划, 执行, 返回结果给客户端. 耗时的地方: 网络, CPU计算, 生成统计信息和执行计划, 锁互等(互斥等待). 2. …

前言 Redis 是单进程，但线程IO复用，基于事件，类似于Netty。因为是单线程，所以浪费了，多核，如果开启集群效果会更好 NoSql的最大优势就是存储的内存中 Redis支持持久化到硬盘，支持数据机构更多，且支持分…

1. 前言 Spark Streaming在处理不断流入的数据时通过每间隔一段时间(batch interval)将这段时间内的流入的数据积累为一个batch，然后以这个batch内的数据作为job DAG的输入rdd提…

1.Hive中内部表和外部表及其对应的hdfs路径 1.1 Hive内部表和外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据 所在的路径， 不对数据的位置做任何改变。在删除…

学hadoop需要什么基础?没有基础怎么学习hadoop？怎么学习大数据？Hadoop作为大数据工业中的主引擎，Hadoop就像是大数据世的一把钥匙，想要进入数据世界，首先你得显得得到这把钥匙，才能打开大门。那么科多大数…