阅读路线: Hadoop与Spark比较 Spark的安装 Spark知识点 一、Hadoop与Spark比较 简单的比较 刚开始学习Spark的时候，自己总是会想当然的理解两者之间的关系。Hadoop和Spark的处理…

距上一次数据分析课程结束，很快地就过去了快半年。上次课程结束后就一直关注Tiger老师的解密大数据团队的下一次课程，虽然文科生这个标签已经是揭不下来的了，但对理工类分析类的课程始终保持热诚，比起<有才华>的评…

工作原理：基于/proc 文件系统 Linux 系统为管理员提供了非常好的方法，使其可以在系统运行时更改内核，而不需要重新引导内核系统，这是通过/proc 虚拟文件系统实现的。/proc 文件虚拟系统是一种内核和内核模块…

# -*- coding: utf-8 -*- """ python爬虫小分队 第二周练习(一) """ from collections import Iterable # 格式化传参 # 1.定义一个字符串 base…

声明 原文地址http://codingnow.cn/server/409.html #!/usr/bin/env python #coding=utf-8 from flask import Flask,url_for…

兼容参数版: def site_catch_error(func): def _deco(*arg, **karg): try: return func(*arg, **karg) except Exception,e:…

在上一篇中我们介绍了 mpi4py 中组合发送接收通信方法，至此我们就对 mpi4py 中提供的各种点到点通信方法都做了一个简略的介绍，并给出了简短的使用例程。下面我们对点到点通信做一个小结。 通过前面的介绍可知，点到点…

MySQLdb是Python连接MySQL的模块，下面介绍一下源码方式安装MySQLdb： 首先要下载下载：请到官方网站http://sourceforge.net/projects/mysql-python/或者点击链…

原题地址：https://oj.leetcode.com/problems/unique-paths-ii/ 题意： Follow up for “Unique Paths”: Now consi…

安装环境：CentOS 7 yum安装python3.4 　　一般情况下在linux中使用python是很轻松的，因为本身linux自带python环境，CentOS7目前自带python2.7。但是据说python2.…

Hive 提供了 Transform 这一关键字，使用 python 脚本处理hive 的数据，实现 Map/Reduce 的效果，在一些场景下，相比直接编写 Hadoop MR 要方便不少。 简介 首先简要介绍一下 h…

#coding=utf-8 import json import urllib2 import base64 import sys # start=sys.argv[1] # end=sys.argv[2] # DEFA…