一、工具准备 1. jdk10 2. scala 3. anaconda3 4. spark-2.3.1-bin-hadoop2.7 5. hadoop-2.8.3 6. winutils 7. pycharm 二、安装…

这个系列是跟着林子雨老师的子雨大数据之Spark入门教程(Python版)所做的学习笔记。 软件源以及版本： spark-2.1.0-bin-without-hadoop.tgz spark-2.1.0-bin-h27h…

hadoop 安装/启动步骤中常见问题 Hadoop 2.x 命令及可执行文件目录的变化： 在1.x中，所有的命令文件，都是放在bin目录下，没有区分客户端和服务端命令，并且最终命令的执行都会调用hadoop去执行；而在…

一、Mongodb安装 以下安装步骤全部以dp用户执行 1. 下载mongodb 3.4.2的安装包: “mongodb-linux-x86_64-rhel70-3.4.2.tgz”，放在～/software下。 2. …

什么是Shell脚本 示例 看个例子吧： !/bin/sh cd ~ mkdir shell_tut cd shell_tut for ((i=0; i<10; i++)); do touch test_$i.tx…

文档地址 http://mashibing.com/wiki/Spark 上传文件 解压 #cd training #tar -xvf spark-2.1.0-bin-hadoop2.7.tgz # rm -rf spa…

建立基本的主从复制可以总结为以下三个步骤： 配置一个master服务器 配置一个slave服务器 将slave连接至master。 1）、配置master服务器： 要求master服务器开启二进制日志（binary lo…

安装spark前先安装scala 然后下载spark-1.6.3-bin-without-hadoop.tgz 解压到/usr/local/spark-1.6.3-bin-without-hadoop 配置环境变量 su…

Binlog详解 Mysql的binlog日志作用是用来记录mysql内部增删改查等对mysql数据库有更新的内容的记录（CRUD等），但select或show等不会被binlog日志记录 主要作用: 主要用于数据库的主…

1.在hive官网下载hive tar zxvf apache-hive-1.2.2-bin.tar.gz mv apache-hive-1.2.2-bin hive 2.修改环境变量 vim /etc/profile …

mac 下关机开机运行mongodb/bin 运行mongod正常，新窗口mongo运行 报错链接失败 mongo.js 257:13 百度问题/data/db 下生成mongo.lock锁 不明白为什么重启之后就生成这…

1.测试MySQL连接 bin/sqoop list-databases –connect jdbc:mysql://192.168.1.187:3306/trade_dev –username …