大数据技术正飞速地发展着,催生出一代又一代快速便捷的大数据处理引擎,无论是Hadoop、Storm,还是后来的Spark、Flink。然而,毕竟没有哪一个框架可以完全支持所有的应用场景,也就说明不可能有任何一个框架可以完…
标签:数据处理
Docker+Spark+Jupyter=文本数据处理逻辑测试平台容器化
写在前面 之前写过一篇“Spark+Jupyter=在线文本数据处理逻辑测试平台” [http://www.jianshu.com/p/bbd4190089e7] 这几天要把这玩意儿放到我自己的阿里云上线,供一些正在学习…
面试必备之海量数据处理
关于海量数据处理问题,通过最近的面试可以看出这是一个经常会问的问题。本篇文章基于实际的面试问题,总结关于海量数据处理的常用算法以及针对这些实际面试问题提出解决方案。 一、海量数据处理 所谓海量数据处理,无非就是基于海量数…