资源 本教程翻译自 MongoDB C Driver 的 官方安装教程。更新日期：2018年9月21日。 接下来的步骤将会指导你一步步的进行下载、编译和安装当前发布版本的 MongoDB C Driver(libmong…

资源 github链接，官方主页，本教程来自官方的 安装教程页面。更新日期：2018年9月21日 安装准备 任何一个标准的 Unix 平台，或 Windows 7 SP1+ 一个支持 C++11(gcc,clang,or…

上一节我们是不是讲到，Driver，Application注册到Master上面后，Master中调用scheduler()进行资源调度，在这个里面通过LaunchDriver(),LaunchExecutor()，向W…

概述 BlockManager是spark自己的存储系统，RDD-Cache、 Shuffle-output、broadcast 等的实现都是基于BlockManager来实现的，BlockManager也是分布式结构，…

事由 上周工作中遇到一个bug，现象是一个spark streaming的job会不定期地hang住，不退出也不继续运行。这个job经是用pyspark写的，以kafka为数据源，会在每个batch结束时将统计结果写入m…

模拟登录淘宝 Selenium+PhantomJS from selenium import webdriver driver = webdriver.PhantomJS() driver.get(“https://lo…

title: mongodb-2 mongodb-java-driver做基本的CRUD–基本查询 date: 2017-01-11 16:25:59 tags: categories: mongodb 本文…

Broadcast 就是将数据从一个节点发送到其他各个节点上去。Spark有两种方式：一种是HttpBroadcast，另一种是TorrentBroadcast。 Driver 端： Driver 先把 data 序列化…

启动Spark Speculative后，有时候运行任务会发现如下提示： WARN TaskSetManager: Lost task 55.0 in stage 15.0 (TID 20815, spark047216…

此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 任何时候日志都是定位问题的关键，spark也不会例外，合适的配置和获取spark的driver，am，及executor日志将会提…

1、背景 有需要的可以联系我2317384986     yxxy1717 ① Application Properties 应用基本属性 spark.driver.cores &…

laravel 缓存配置文件 # 配置文件在 config/cache.php 文件中 //> 默认缓存驱动 CACHE_DRIVER 如果没设置使用 file 文件缓存 'default' => env('…