向量化计算 定义,向量化计算是一种特殊的并行计算的方式,它可以在同一时间执行多次操作,通常是对不同的数据执行同样的一个或一批指令,或者说把指令应用于一个数组/向量。 1,生成等差数列 numpy.arange(atart…
分类:数据挖掘
python 的库
import 库名 import math as m 1, Numpy 提供数组支持,以及相应的高效的处理函数 快速高效的多维数组对象ndarray, 用于对数组执行元素级计算以及直接对数组执行数学运算的函数, 用于读写…
【二】数据分析---数据探索(一)
通过检验数据集的数据质量、绘制图表、计算某些特征量等手段,对样本数据集的结构和规律进行分析对的过程就是数据探索。 数据探索有助于选择合适的数据预处理和建模方法。 数据质量分析 数据特征分析 一,数据质量分析 数据质量分析…
机器学习--初识
机器学习是指,一门多领域交叉学科。专门研究计算机或其他软硬件设备怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 机器学习实现一套工具、方法或程序,从现实世界的海量数据里…
数据挖掘(一) 初步认识
数据挖掘的方向 数据库技术角度统计学角度机器学习角度 一,数据挖掘的发展动力 1,数据量的增长 自动数据收集工具和成熟的数据库技术使得大量的数据被收集,存储在数据库、数据仓库或其他信息库中以待分析。2,数据量繁多,缺乏寻…
数据挖掘(二) 系统结构
一,体系结构 数据的来源 数据库服务器, 数据库 数据挖掘的引擎 数据挖掘的模式 数据可视化技术的展示 二,数据类型 关系数据库 使用最广泛 数据仓库 各个分立的数据库统一 事务数据库 高级数据库系统和信息库 空间数据库…
服务器上安装 anaconda和设置jupyter notebook
一 ,说明: 1,服务器上构建虚拟环境与系统环境分割。 2, 服务器系统是centOS 。 3,安装的是anaconda3 二,过程: 下载到服务器 wget https://repo.continuum.io/arch…
使用pymysql连接数据库
使用pymysql数据包连接 使用Python连接MySQL数据库,使用的是 pymysql包。安装好pymysql包以后,通过下面的方式连接到导数据库,通过执行原始SQL语句,调取所需要的数据。 通过pandas 将数…
通过MySQL驱动连接MySQL数据库
通过MySQL驱动连接MySQL数据库 MySQL官方提供了mysql-connector-python驱动 pip install mysql-connector 操作数据库 import mysql.connecto…
pandas
一 、pandas 基本操作 (一)、查看基本数据 1、查看dataframe的前n行或尾n行 固定的是n=5 df = pandas.Dataframe(columns=[],index=[],data=[]) ## …
正式学习python之前的准备工作
准备工作当然就是部署环境,首先,python目前还属于一个2.x到3.x的过渡阶段,所以现在是即有一部分资料是2.x的,又有一部分是3.x的,到底选哪个版本呢,我个人推荐3.x,如果是几年前,我可能还会犹豫是不是用2.x…
数据接口的开发
数据接口的开发算是模型工程化的基本技能之一,我们建模、做算法不能仅仅停留在实验环境,做一些一次性的工作,我们要会去输出自己的模型和结果,一般模型工程化两种办法,一种是开发算法包给其他人调用;一种是利用数据接口提供服务,这…