arg_scope tf.contrib.framework.arg_scope(list_ops_or_scope, **kwargs) #或者 tf.contrib.slim.arg_scope(list_ops_o…
强大的PyTorch:10分钟让你了解深度学习领域新流行的框架
摘要: 今年一月份开源的PyTorch,因为它强大的功能,它现在已经成为深度学习领域新流行框架,它的强大源于它内部有很多内置的库。本文就着重介绍了其中几种有特色的库,它们能够帮你在深度学习领域更上一层楼。 更多…
一起学HBase——总结HBase中的PUT、GET、DELETE操作
传统的关系型数据库有CRUD增删改查操作,同样对于NoSQL列式数据库也有CRUD操作。本文对HBase中常用的Scan、GET、PUT、DELETE操作的用法做个总结。 Put操作 Put相当于传统数据库的add操作,…
机器学习(八)—Apriori算法
摘要:本文对Apriori算法进行了简单介绍,并通过Python进行实现,进而结合UCI数据库中的肋形蘑菇数据集对算法进行验证。 “啤酒与尿布”的例子相信很多人都听说过吧,故事是这样的:在一家超市中,人们发现了一…
mongoDB(3) mapReduce
mapReduce是大数据的核心内容,但实际操作中别用这个,所谓的mapReduce分两步 1.map:将数据分别取出,Map函数调用emit(key,value)遍历集合中所有的记录,将key与value传给Red…
关于MapReduce中自定义分组类(三)
Job类 /** * Define the comparator that controls which keys are grouped together …
Spark中RDD和DataFrame互相转换的原因及方法
本文讲解Spark中的RDD和DataFrame之间的互相转换,主要内容包括以下几点: 1、RDD转DataFrame原因及方式 2、DataFrame转RDD原因及方式 3、DataFrame转RDD的案例 1、RDD…
Scala实战:巧用集合实现数据脱敏
在日常开发中,经常会遇到对数据进行脱敏处理的需求。像隐藏身份证或者手机号中间几位。比如对于:13812345678这个手机号,我们会使用*号替换中间4位来达到隐藏的目的,就像这样:138****5678。这是一个很常见也…
混合高斯模型Spark MLlib调用实例(Scala/Java/Python)
高斯混合模型 混合高斯模型描述数据点以一定的概率服从k种高斯子分布的一种混合分布。Spark.ml使用EM算法给出一组样本的极大似然模型。 参数: featuresCol: 类型:字符串型。 含义:特征列名。 k: 类型…
PyTorch修改模型参数
在PyTorch中非常容易修改模型的参数,因此,很容易在基础网络模型的基础上进行,重新进行自己的模型训练,请参考下列将一个模型参数复制到另外一个模型的代码: trained_dict = train_model.stat…
PyTorch对于变长文本的异步多进程读取
异步多进程读取数据对于在大规模的数据集上训练模型有重要的意义。 基于PyTorch的异步多进程IO的tutorial往往基于图像做demo进行讲解,对做CV的同学相对比较友好,torchvision支持的也比较好,相比之…
OkHttp 源码解析(三)
简介 上一篇文章分析了 OkHttp 建立连接的过程,主要涉及到的几个类包括 StreamAllocation、RealConnection 以及 HttpCodec,其中 RealConnection 封装了底层的 S…