下载 CUDA 8.0 和 cuDNN v6 for CUDA 8.0 (下载cuDNN需要先注册NVIDIA开发账户并登录才能看到下载界面) CUDA 9 要TF 1.5版本才支持 安装CUDA 解压cuDNN到一个你…
分类:机器学习
利用spark进行机器学习时模型序列化存储到hive解决方案
机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到hive,之后预测子工程项目再将模型重hive中load出来进行预测 1.模型存储到hi…
我的Machine Learning学习之路
从2016年年初,开始用python写一个简单的爬虫,帮我收集一些数据。 6月份,开始学习Machine Learning的相关知识。 9月开始学习Spark和Scala。 现在想,整理一下思路。 先感谢下我的好友王峰给…
Andrew Ng机器学习算法入门(一):简介
简介 最近在参加一个利用机器学习来解决安全问题的算法比赛,但是对机器学习的算法一直不了解,所以先了解一下机器学习相关的算法。 Andrew Ng就是前段时间从百度离职的吴恩达。关于吴恩达是谁,相信程序员/媛都知道。 An…
各种分类算法的优缺点
** 各种分类算法的优缺点 ** 朴素贝叶斯: 朴素贝叶斯的优点:对小规模的数据表现很好,适合多分类任务,适合增量式训练。算法比较简单,常用于文本分类。 分类准确度高,速度快。 朴素贝叶斯的缺点:对输入数据的表达形式很敏…
python中无法正确读取.mat文件的解决办法
在python中导入本地.mat数据文件时,总是无法得到正确的数据。 问题代码如下: from numpy import * import scipy.io mnist_train = 'D:\Machine Learn…
Apriori算法核心逻辑代码实现
概述Apriori算法是生成频繁集的一种算法。Apriori原理有个重要假设,如果某个项集是频繁的,那么它的所有子集势必也是频繁的。如果一个项集是非频繁项集,那么它所对应的超集就全都是非频繁项集。 实现 从大规模数据集中…
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法,机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法…
学习笔记TF062:TensorFlow线性代数编译框架XLA
XLA(Accelerated Linear Algebra),线性代数领域专用编译器(demain-specific compiler),优化TensorFlow计算。即时(just-in-time,JIT)编译或提前…
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导,机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法。 本文所有求导布…
5. Q语言学习之路—字典
1. 字典基础 1. 定义字典是key-values pairs, 但是在q中,字典是按照list来存储的。字典的创建使用操作符!,读作bang :) 所有的字典类型都是99h。 q)10 20 30!1.1 2.2 3…
智能数据库之智能调参
本文是SIGMOD论文解读。Automatic Database Management System Tuning Through Large-scale Machine Learning是CMU教授Andy Pavlo…