Hadoop环境支持 hadoop 是Apache 软件基金会旗下的一个开源分布式计算平台。以hadoop 文件系统(hdfs)和 mapreduce (google 提出的mapreduce计算框架)为核心的分布式基础…
标签:image
Hadoop集群搭建(CentOS7 + Hadoop2.7.6)
一、准备事项: 1、Centos7-x64 2、VMware 3、Hadoop-2.7.6 4、jdk-linux-1.8 二、虚拟机中安装Centos7 这部分不再讲解,注意的是电脑需要再BIOS中开启支持虚拟化,安装…
Hadoop大数据入门到实战(第二节) - 环境安装(ubuntu)
本小节,我们来安装Hadoop环境。 远程连接工具 为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT,当然还有很多其他连接工具,不过我觉得这一款挺好用。…
Spark处理HDFS数据,并将结果存储在Hive中
接昨天未完待续,继续: 首先,我要完成功能是:将下面的电影的links数据,在Spark上处理,处理结果存入到Hive中 image.png 这个是最后成功的图 image 功能流程如下图: image.png 涉及的代…
在Intellij中开发Spark--demo
演示在Intellij中开发Spark,使用sbt构建工具,scala语言。 运行方式:1.在intellij中直接运行spark。2.打包运行(参考官网快速开始中Self-Contained Applications节…
SparkStreaming教程
概要 Spark流是对于Spark核心API的拓展,从而支持对于实时数据流的可拓展,高吞吐量和容错性流处理。数据可以由多个源取得,例如:Kafka,Flume,Twitter,ZeroMQ,Kinesis或者TCP接口,…
PHP性能优化
0 前言 这篇文章算是对这本书的一点笔记 《高性能PHP应用开发》 目录大概都是搬过来的,但是有些技术是2011-11(出版日期)之前的,还有有些地方跟我的技术栈有所区别,就略过了。 比如Apache(我用的是nginx…
使用JDBC程序操作Hive数据库
实验操作 1. 使用eclipse创建JDBC程序 (1)点击eclipse图标打开eclipse。 image (2)打开eclipse后,点击Open Perspective: image (3)在弹出窗口中选中…
Hive的函数
1.发现和描述函数: 使用show functions显示Hive中自带的函数: image.png image.png 还可以使用describe function命令展示相应函数简短的介绍: image.png 2.…
[PHP文件上传下载]①--文件上传信息
Paste_Image.png Paste_Image.png Paste_Image.png <html> <head><title></title></head&…
ubuntu16.04 wordpress建站教程
image 非常简单!!复制代码即可!服务器方面自选,我这里用的 首都在线云主机(http://www.capitalonline.net/)(他家海外节点好便宜哈哈) 首先用putty远程连接云主机。百度搜索putty…
6. php基础 - 自定义函数和内部函数
考点:变量的作用域和静态变量 延伸:函数的参数及参数的引用传递,函数的返回值及引用返回,外部文件的引入,系统内置的函数 函数内部使用 global 来引用外部的变量, 静态变量仅在局部函数域中存在,但当程序执行离开此作用…