标签：大数据

《七周七数据库》一一1.1　从一个问题开始

本节书摘来自异步社区出版社《七周七数据库》一书中的第1章，第1.1节，作者：【美】Eric Redmond，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.1　从一个问题开始七周七数据库本书的核心问题是：哪…

一、Hive分区表新增字段参考博客：https://blog.csdn.net/yeweiouyang/article/details/44851459 二、Hive修改表名，列名，列注释，表注释，增加列，调整列顺序，…

大数据不仅意味着海量、多样、迅捷的数据处理，更是一种颠覆的思维方式、一项智能的基础设施、一场创新的技术变革。物联网、智慧城市、增强现实(AR)与虚拟现实(VR)、区块链技术、语音识别、人工智能、数字汇流是大数据未来应用的…

读书笔记的历史文章，《关于数据治理的读书笔记 – 什么是数据战略？》《关于数据治理的读书笔记 – 企业数据治理的“道、法、术、器”》《关于数据治理的读书笔记 – 数据治理、数据管…

兰州晚讯(首席记者徐倩影实习生李芳娜)近日，兰州市大数据社会服务管理局组织局系统全体科级以上干部专题学习《甘肃省“十三五”信息化发展规划》。结合《甘肃省“十三五”信息化发展规划》，兰州市牢固树立省会城市“首位度”意识，…

今天启动mongodb的时候，之前一直没注意，今天发现又warning，想整一整。下面是告警 2019-09-05T12:00:55.271+0800 I CONTROL [initandlisten] 2019-09…

sequence文件存储格式 txt 纯文本格式，若干行记录。默认用字符编码存储 SequenceFile格式（顺序文件格式，可进行切割） key-value 格式进行存储，最终形成的是一个二进制文件，需用hadoop…

import requests import json import pandas as pd import time # getRtVisitor.json session = …

Flume的三大核心组件: Source:数据源 Channel:临时存储数据的管道 Sink:目的地接下来具体看一下这三大核心组件都是干什么的 Source Source: 数据源:通过source组件可以指定让Fl…

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。一、数据挖掘对象根据信息存储格式，用于挖掘的对象有关系数据库…

！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下： virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机） jdk1.7.0、hadoop2.6.…