声明:转载请声明作者,并添加原文链接。 简介 这篇博客主要解读WaveNet 语音识别/合成算法。 这篇论文另辟蹊径, 主要使用dilated casual CNN 而不是LSTM 去实现语音算法, 非常值得…
分类:自然语言处理
机器学习面试之Attention
RNN做机器翻译有它自身的弱点,Attention正是为了克服这个弱点而出现的。所以,要理解Attention,就要搞明白两件事: – RNN在做机器翻译时有什么弱点 – Attention是如何…
LSA 主题模型
1、原理 通过对大量的文本集进行统计分析,从中提取出词语的上下文使用含义。技术上通过SVD分解等处理,消除了同义词、多义词的影响,提高了后续处理的精度。 分析文档集合,建立词汇-文本矩阵。 对词汇-文本矩阵进行奇异值分解…
5 分钟入门 Google 最强NLP模型:BERT
BERT (Bidirectional Encoder Representations from Transformers) 10月11日,Google AI Language 发布了论文 BERT: Pre-train…
K 均值聚类
K 均值聚类 算法交替执行以下两个步骤: 将每个数据点分配给最近的簇中心 将每个簇中心设置为所分配的所有数据点的平均值,如果簇的分配不再发生改变,那么算法结束。 优点 K 均值不仅相对容易理解和实现,而且运行速度也相对较…
用Keras实现RNN+LSTM的模型自动编写古诗
记录下用Keras实现LSTM模型来自动编写古诗的过程查看原文 代码地址: Github 简介 目前RNN循环神经网络可以说是最强大的神经网络模型之一了,可以处理大量的序列数据,目前已经广泛用于语音识别、文本分类、自然语…
NLP系列学习:DBOW句向量
最近在看这一篇文章,在网上也看到了很好的翻译,总结一下,写一下自己的看法,不足之处还是多多指教~ 分布记忆模型(PV-DM) 用神经网络训练词向量的逻辑是,让网络去预测单词(目标词/上下文)这样的任务,句向量也是一样,我…
NLP面试-最大似然估计与贝叶斯估计的区别
1 相关理论 1.1 全概率公式 全概率公式为概率论中的重要公式,它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。 如果事件B1、B2、B3…Bn 构成一个完备事件组,即它们两两互不相…
决策树
决策树 决策树学习通常包括3个步骤: 特征选择。 决策树生成。 决策树剪枝。 决策树生成算法 决策树的生成算法: 构建根结点:将所有训练数据放在根结点。 选择一个最优特征,根据这个特征将训练数据分割成子集,使得各个子集有…
智能语音的崛起给品牌带来了哪些挑战
作者: 郭敏 | 中国观察网站总编 原文链接:http://t.cn/EZymmjS 智能语音技术的崛起的重要性相当于2007年智能手机的兴起。到2020年,30%的互联网浏览行为将通过没有屏幕的设备完成。 Kantar…
Attention Is All You Need简记(多头注意力、自注意力、层归一化、位置嵌入)
首先注意力模型可以宏观上理解为一个查询(query)到一系列(键key-值value)对的映射。 将Source(源)中的构成元素想象成是由一系列的<Key,Value>数据对构成,此时给定Target(目标…
使用scikit-learn解决文本多分类问题(附python演练)
来源 | TowardsDataScience 译者 | Revolver 在我们的商业世界中,存在着许多需要对文本进行分类的情况。例如,新闻报道通常按主题进行组织; 内容或产品通常需要按类别打上标签; 根据用户在线上谈…