在2017年的DB-Engine的年度数据库榜单上，PostgreSQL以其超过其他341个受监控数据库管理系统的受欢迎程度居于榜首，被评为年度DBMS。其总体排名也超过MongoDB，在其流行程度上排名第四。 Post…

封装一下 pyhs2，让其使用起来和 torndb 一样简单好用。 提供 db.query、db.get、db.execute 三个方法，用法和 torndb 完全一样。 query 和 get 返回值数据类型也完全一样…

方式一 $ vim test.sql内容如下： use ${db_name}; select count(*) from liaisons; 运行 $ hive -d db_name='source_data' -f t…

1、创建一个数据库 数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db hive (default)> create database db_hive; 2、避免要创建的数据库已经…

一套数据，多种引擎（impala/Hive/kylin） – 大数据和云计算技术 （欢迎关注同名微信公众号） – ITeye技术网站 http://jiezhu2007.iteye.com/blo…

为了减少db的读压力，加快读速度，系统使用cache做缓存，会引起cache一致性问题。因为db会有事务性导致回滚，而cache无法回滚，会导致脏数据。 一般情况下，我们会在保存数据时，先穿透保存到DB中，再同步数据到r…

过虑复制事件有两种方式： 1、在主服务器在把事件从进二制日志中过滤掉，相关的参数是:binlog_do_db和binlog_ignore_db。master过滤器控制哪些被写入二进制日志，以及哪些会发送给slave。被过…

SQL的优化常常是跟表里是数据相关的，一开始表设计只能考虑大部分情况下会用到的索引，有些特殊情况下，mysql的查询优化器不一定会走设计时考虑的执行计划，比如索引选择性太低也会走全表扫描，比如连表的时候可能走小表的索引而…

XXC是一个高读高写的系统，它在双十一期间将肩负起8w的手淘峰值查询流量，以及7w的均值物流详情回传流量，而换算到db层面预期则有20w的读，27w的写流量，在db资源上则是8主8备的混合部署方式。双十一前XXC系统面临…

公司近期搭建了hadoop集群，改造前后的体系架构如下： http://www.jianshu.com/writer#/notebooks/9498314/notes/8936965/writing  &nbs…

用户可以使用 alter database命令为某个数据库的dbproperties设置键-值对属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包括数据库名和数据库所在的目录位置。 hive (…

报错 Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain bl…