信号(Signals) 记录运行时间主要用的的就是scrapy的singal信号管理，点击查看详情 根据各种信号记录数量和时间。 数据收集(Stats Collection) Scrapy 提供了方便的收集数据的机制。数…

1、Redis中并不是所有的数据都一直存储在内存中的，这是和Memcached相比一个最大的区别。 2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3、Redis支…

1.使用Hive ETL预处理数据 方案适用场景：如果导致数据倾斜的是Hive表。如果该Hive表中的数据本身很不均匀（比如某个 key对应了100万数据，其他key才对应了10条数据），而且业务场景需要频繁使用Spar…

来源:https://www.v2ex.com/t/106208 v2ex的数据不算多，我们公司的数据库有14g，但是时常访问的数据最多也就1g，这些热数据完全可以用redis顶下来，但是不排除访问冷数据。  …

第5章 HiveQL数据操作 在上一章中介绍了HiveQL的数据定义部分，所谓数据定义就是对数据库中表结构的增删改查；而数据操作则是关注对数据库中表的数据的操作，即如何装载数据到表中，如何从这些表中查询想要的数据。对于其…

快乐大数据第5次课 hive（1）工作原理Hive的执行入口是Driver，执行的SQL语句首先提交到Drive驱动，然后调用compiler解释驱动，最终解释成MapReduce任务去执行。无法实现实时更新，只能向现有…

使用Hive读写ElasticSearch中的数据 – lxw的大数据田地 http://lxw1234.com/archives/2015/12/585.htm?utm_source=tuicool&utm_m…

1. 数据查询语言DQL 数据查询语言DQL基本结构是由SELECT子句，FROM子句，WHERE 子句组成的查询块： SELECT <字段名表> FROM <表或视图名> WHERE <查…

1 hive表关联查询，如何解决数据倾斜的问题? 倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。…

转载自: http://blog.nosqlfan.com/html/3813.html 持久化 什么是持久化，简单来讲就是将数据放到断电后数据不会丢失的设备中。也就是我们通常理解的硬盘上。 写操作的流程 首先我们来看一…

火山日常啰嗦 学习了一些大数据的相关框架后，发现应用层的东西确实不难，真正难的都是底层原理，所以我查看了很多资料，借鉴了前人的方法再加上自己的理解，写下了这篇文章。 数据倾斜的直白概念： 数据倾斜就是数据的分布不平衡，某…

数据库概念 (.db) 数据的集散地，有效地存储和管理数据。App如果有大量的数据需要进行本地存储就可以考虑使用数据库技术，它不仅能够有效的存储和管理数据，更重要的是提供了方便的检索数据的手段。简单的说，数据库是实现数据…