前言 最近为了解决Spark2.1的Bug,对Spark的源码做了不少修改,需要对修改的代码做编译测试,如果编译整个Spark项目快的话,也得半小时左右,所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官…
标签:编译
CarbonData 1.2.0集成Spark 2.1.0调研
编译 carbondata1.2已经支持hive+presto,carbon生态圈基本健全。 基于git checkout到branch-1.2,编译脚本: #/bin/bash mvn -DskipTests clea…
spark编译
背景 通常来讲,spark的使用离不开hadoop生态,在spark的官网中已经有针对hadoop通用版本(比如2.6、2.7)的预编译版本。但是在实际生产环境中使用的hadoop一般是cdh或hdp,与spark预…
二、MySQL部署
图片来自网络 文/Bruce.Liu1 1.安装简介 MySQL安装在网上的帖子再多不过了,但是真正能将网上的文章无缝的使用在生产环境中的寥寥无几,并且网上的文章一般都是局限于都一个知识点,并没有一个系统整体性的文章,本…
8.Spark学习(Python版本):连接Hive读写数据(DataFrame)
Step1. 让Spark包含Hive支持 为了让Spark能够访问Hive,必须为Spark添加Hive支持。按照之前的步骤,我们下载的是Spark官方提供的预编译版本,通常是不包含Hive支持的,需要采用源码编译,编…
Hadoop的Snappy安装配置
1.snappy编译安装 下载snappy,编译。 前置条件:gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3 1)运行:autog…
Hive笔记10- SQL的编译过程
Hive SQL的编译过程 木叶丸 ·2014-02-12 17:30 转载https://tech.meituan.com/hive-sql-to-mapreduce.html Hive是基于Hadoop的一个数据仓库…
【CentOS基础篇】之编译安装httpd
程序包编译安装 在linux中,程序的安装分为rpm安装、yum安装和编译安装,rpm包和yum包在制作过程中已经规划好了安装的路径,相对普通用户来说,这种方式相对于便捷,但是只能用在匹配的系统版本上,定义不同的安装方式…
OGRE教程(一):环境配置与安装
配置前的注意事项 今天我们来介绍OGRE的环境配置及其详细安装过程。本文作者使用的是OGRE 1.10 + Visual Studio Community 2017 + Win10(内存8G,部分人在编译OGRE时可能会…
天兔(Lepus 3.8)数据库监控系统部署
一、安装LAMP基础环境 首先向大家阐述LAMP(Linux+Apache+MySQL +PHP)基础环境配置。 配置LAMP基础环境的方式有很多种,最简单的方式有yum安装、RPM包安装等方式、安装集成环境包(例如la…
Ubuntu 18.04(虚拟机)环境下编译Android 源码
掘金专栏地址:https://juejin.im/post/5b0e591451882515662234cd android源码编译的四个流程:1.源码下载;2.构建编译环境;3.编译源码;4模拟器运行 1.源码下载 首…
编译时间太长?跟我学对症下药!
随着项目的不断迭代,项目越来越大,编译时间也是越来越多,特别是多module的项目更是严重,每次编译项目的时候都是痛苦的等待,那么我们怎么去发现项目里面编译时间花费的地方呢? 查看Task编译时间 通过命令窗口,输入gr…