学习笔记DL001:数学符号、深度学习的概念

数学符号。

数和数组。?,标量(整数或实数)。?,向量。?,矩阵。?,张量。??,?行?列单位矩阵。?,维度蕴含上下文单位矩阵。?⁽ⁿ⁾,标准基向量[0,…,0,10,…,0],其中索引n处值为1。diag(?),对象方阵,其中对象元素由?给定。a,标量随机变量。?,向量随机变量。?,矩阵随机变量。

集合和图。?,集合。ℝ,实数集。{0,1},包含0和1集合。{0,1,…,?},包含0和?之间所有整数的集合。[?,?],包含?和?的实数区间。(?,?],不包含?但包含?的实数区间。??,差集,即其元素包含于?但不包含于?。?,图。???(??),图?中??的父节点。

索引。??,向量?的第?个元素,其中索引从1开始。?₋?,除了第?个元素,?的所有元素。??,?,矩阵?的?,?元素。??,:,矩阵?的第?行。?:,?,矩阵?的第?列。??,?,k,3维张量?的(?,?,?)元素。?:,:,?,3维张量?的2维切片。a?,随机向量?的第?个元素。

线性代数操作。?⫟,矩阵?的转置。?⁺,?的Moore-Penrose伪造。?⨀?,?和?的逐元素乘积(Hadamard乘积)。???(?),?的行列式。

微积分。??/??,y关于x的导数。∂?/∂?,y关于x的偏导。∇??,y关于x的梯度。∇??,y关于?的矩阵导数。∇??,y关于?求导后的张量。∂?/∂?,?:ℝⁿ->ℝⁿⁿ的Jacobian矩阵?∈ℝ⁽m*n⁾。∇⁽?⁾₍x₎?(x)or?(?)(x),?在点?处的Hessian矩阵。∫?(?)??,?整个域上的定积分。∫??(?)??,集合?上关于?定积分。

概率和信息论。a⊥b,a和b相互独立的随机变量。a⊥b|c,给定c后条件独立。P(a),离散变量上的概率分布。p(a),连续变量(或变量类型未指定时)上的概率分布。a~P,具有分布P的随机变量a。Ex~p[?(?)]or??(?),?(?)关于P(?)的期望。Var(?(?)),?(?)在分布P(?)下的方差。Cov(?(?),?(?)),?(?)和?(?)在分布P(?)下的协方差。?(?),随机变量?的香浓熵。???(?||?),?和?的??散度。?(?;?,∑),均值为?,协方差为∑,?上的高斯分布。?:?->?,定义域为?值域为?的函数?。?∘?,?和?的组合。?(?:θ),由θ参数化,关于?的函数(有时为简化表示,忽略θ,记为?(?))。log?,?的自然对数。σ(?),Logistic sigmoid,1/(1+exp(-?))。?(?),Softplus,log(1+exp(?))。||?||p,?的L⁽p⁾范数。||?||,?的L⁽2⁾范数。?⁺,?的正数部分,max(0,?)。1condition,如果条件为真则为1,否则为0。用函数?,参数是一个标量,应用到一个向量、矩阵或张量:?(?)、?(?)或?(?)。表示逐元素将?应用于数组。?=σ(?),对于所有合法的i、j和k,?i,j,k=σ(?i,j,k)。

数据集和分布。?data,数据生成分布。?train,由训练集定义的经验分布。?,训练样本的集合。?⁽?⁾,数据集的第?个样本(输入)。?⁽?⁾或?⁽?⁾,监督学习中与?⁽?⁾关联的目标。?,? x ?的矩阵,行??,:为输入样本?⁽?⁾。

古希腊时期,神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)传说发明家。加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人类第一次构思可编程计算机,思考变智能(离造出第一计算机一百年)(Lovelace,1842)。人工智能(artificial intelligence,AI)众多实际应用、活跃研究课题领域,蓬勃发展。智能软件自动处理常规劳动、理解语音图像、帮助医学论断、支持基础科学研究。

早期,计算机相对简单问题迅速解决,形式化数学规则描述问题。挑战,很难形式化描述任务,如人说话、图中脸。解决方案,计算机从经验学习,根据层次化概念体系理解世界。概念通过相对简单概念关系定义。计算从经验获取知识,避免人类给计算机形式化指定知识。层次化概念让计算机构建简单概念学习复杂概念。概念建立在彼此之上的图,一张深(多层次)图。AI深度学习(deep learning)。

参考资料:
《深度学习》

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi

    原文作者:利炳根
    原文地址: https://segmentfault.com/a/1190000012042584
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞