问题描述: Spark on Yarn是利用yarn进行资源调度,这两天我写的一个程序处理大概100W行文本,文本格式是txt,数据大小为50M左右。我将Scala写…
分类:未分类
Mysql数据量大提高查询速度
由于在参与的实际项目中发现当mysql表的数据量达到百万级时,普通SQL查询效率呈直线下降,而且如果where中的查询条件较多时,其查询速度简直无法容忍。曾经测试对一个包含400多万条记录(有索引)的表执行一条条件查询,…
程序员史诗级必读书单吐血整理四个维度系列80+本书(珍藏版)
极客侠网站导航(全部书单资源导航页):https://pymlovelyq.github.io/archives/ 互联网行业的特点是变化。若要提高互联网开发的技能,就必须跟上技术发展的步伐。埋首醉心于项目开发与实战,固…
银行账户和支付账户
20180124-银行账户和支付账户 2018-02-05 06:30 银行 来源: http://www.sohu.com/a/220953102_693835 一、主题分享 监管文原文链接: •中国人民银行关于落实个…
ls -l 显示文件及详细信息
ls -l 显示文件及详细信息 $ ls -l total 4 -rw-r–r– 1 root root …
使用Kinect相机获取像素点对应世界坐标系下三维坐标的公式
Kinect相关topic (1)RGB图像:/camera/rgb/image_color ROS数据格式:sensor_msgs/Image …
如何打包一个Myeclipse的javaWeb项目
~读之前先看一下~ 打包的war文件时不包含源代码的。 小心别把自己辛辛苦苦敲的代码弄没 了 网站做完后,并不是直接放到服务器(Tomcat)中去运行,而是先将其打包成War文件,再把War文件放到服务器中去运行,那样更…
Object对象转换成MAP
private Map<String, Object> beanToMap throws Exception { //使用Introspector将实体对象转换成map if (item == null) r…
内聚度和耦合度的概念
内聚度—— 内聚度是前述信息隐藏和局部化概念的自然扩展,它标志一个模块内部各成分彼此结合的紧密程度。内聚度按其高低 程度可分为7级,内聚度越高越好。 1 内聚度简介 2 等级划分 内聚度简介 内聚…
调用MFC打开文件选择对话框
CFileDialog dlg(FALSE, _T("xlsx"), NULL, OFN_HIDEREADONLY | OFN_OVERWRITEPROMPT, _T("EXCEL文件|*.xls;*.xlsx||"),…
合并两个List并去掉重复项
工作中很多时候需要用到合并两个List并去除其中的重复内容。这是一个很简单的操作,这里主要是记录一下通过用Stream来完成这项操作。 在java8之前比较常规的做法是将两个List添加到一个…
屏蔽4996警告
1. 在预编译头文件stdafx.h中定义宏 #define _CRT_SECURE_NO_DEPRECATE 2. 声…