日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时…
标签:log
Hive Sql优化集(on where过滤)
1.问题:考虑下面三个sql sql1: select * from (select log.*,a.batch_order_no,a.pm_code,a.bank_code,a.pay_status from pay_…
统计PV、UV
使用Hive日常工作基本上都会碰到统计PV、UV的需求,有如下日志表格式表: create table user_log ( log_time string, user_id string, .... ) 统计一段时间内…
导入 HDFS 数据至 HBase
Time: 2017.9.14 Targets: 对于用户活跃情况的数据 执行16年日志数据; HDFS导入HBase; HBase 执行日志 数据格式 hadoop fs -ls /warehouse/orc_elap…
innodb_flush_log_at_trx_commit
1,参数解释:innodb_flush_log_at_trx_commit是将事务日志从innodb log buffer写入到redo log中 2,参数设置: 3,参数推荐设置: innodb_flush_log_a…
第七节、重要的日志模块(redo log)
什么是binlog、redo log binlog属于逻辑日志,是逻辑操作; innodb redo属于物理日志,是物理变更。 逻辑日志有个缺点是难以并行,而物理日志可以比较好的并行操作。 1. binlog是…
理解MySQL复制(Replication)
更多MySQL 技术交流请加群:428322170 1、复制概述 1.1、复制解决的问题数据复制技术有以下一些特点: (1) 数据分布 (2) 负载平衡(load balancing) (3) 备份 (4) 高可用性(h…
主从复制-工作流程
1)master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events); 2)slave将master的binary log events拷贝到它的中继日志(r…
MySQl必知必会(一)
MySQL常用命令 命令要以;结束才会执行。sql语句不区分大小写 show databases; 显示有哪些数据库。 use body; 使用body数据库(之后的操作针对body数据) show tables; 显示…
mysql日志系统之redo log和bin log
首先,我们先来看看一次查询/更新语句流程图 mysql查询/更新流程图.png 本文会将重点放在执行器<->存储引擎之间的交互。 mysql不是每次数据更改都立刻写到磁盘,而是会先将修改后的结果暂存在内存中,…
MySQL日志探究
mysql_hosting.png 所以今天来研究一下mysql的日志。 一. MySQL日志分类 错误日志 (The Error Log) Problems encountered starting, running,…
MySQL压测⑤--压测后续之innodb_log_file_size取值探讨(待续)
前面的压测报高中最有趣的一张图莫过于这张波浪图了 TPS一次次的冲向波峰,然而没能持续多久就被拖到波谷,这个曲线对应的参数是innodb_log_file_size=100M 提取log查看当时的测试值 100M的确是太…