CentOS 7.0 hadoop 安装与配置 蒋小超 2015.04.03 背景介绍 hadoop 是一种大数据分布式运算解决方案。 hadoop 是什么？ 实际上 hadoop 就是 Google 的 MapRedu…

数据输入输出格式和自定义数据输入输出格式 数据输入格式（InputFormat） 用于描述MapReduce作业的数据输入规范。MapReduce框架依靠数据输入格式完成输入规范检查(比如输入文件目录的检查)、对数据文件…

主要是转载，做了简单归纳，提供初步了解和面试使用。 简介 MongoDB更类似MySQL，支持字段索引、游标操作，其优势在于查询功能比较强大，擅长查询JSON数据，能存储海量数据，但是不支持事务。MySQL在大数据量处理…

　以下介绍的课程主要针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程。课程框架是科多大数据的零基础大数据工程师课程。 　　一、 第一阶段：静态网页基础(HTML+CSS) 　　1. 难…

****什么是共享锁，什么是排他锁？**** ****共享锁****也叫读锁，简称S锁，原理：一个事务获取了一个数据行的共享锁，其他事务能获得该行对应的共享锁，但不能获得排他锁，即一个事务在读取一个数据行的时候，其他事务…

在项目中，缓存的应用于：系统中并发量比较高的地方，需要频繁对数据库进行插座的地方，我们会设置redis缓存，一般在商城首页，广告首页，搜索面板数据，购物车等等， redis缓存的利用率的提高，在于分析数据是否热点，，我们…

Hive数据倾斜总结 倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业…

学习大数据不可避免地会用到Hadoop、Hive、Spark等内容，也很有必要去归类、整理和比较它们之间的异同与关系。无论是Hadoop还是Spark或是其他大数据处理工具，归根结底还是要面向大数据的四个核心问题。 1.…

//联系人:石虎QQ: 1224614774昵称:嗡嘛呢叭咪哄 前言 SQLite数据库由于其简单、灵活、轻量、开源，已经被越来越多的被应用到中小型应用中。甚至有人说，SQLite完全可以用来取代C语言中的文件读写操作。…

编辑：于占胜     组别：研0组 【嵌牛导读】大数据开发入门课程：hadoop大数据与hadoop云计算，Hadoop最擅长的事情就是可以高效地处理海量规模的数据，这样Hadoop就和大数据及云计算…

1、数据库是按照数据结构来组织、存储和管理数据的仓库。 每个数据库都有一个或多个不同的API用户创建、访问，管理、复制和搜索所保存的数据。 2、mogondb和mysql的数据模型 mogondb：是一个基于分布式文件存…

0x00 前言 往往那些不起眼的功能，最能毁掉你的工作成果。 本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能，但是它确实至关重要的。 文章结构 数据质量监控的意义和价值…