1 综述 TensorFlow的编程系统中: 使用张量(tensor)来表示数据 使用图(graph)来表示计算任务。 图中的节点被称之为 op (operation 的缩写). 一个 op 获得 0 个或多个 Tens…
分类:自然语言处理
Kafka集群环境配置
Kafka集群环境配置 1 环境准备 1.1 集群规划 Node02 Node03 Node04 zk zk zk kafka kafka kafka 1.2 jar包下载 安装包:kafka_2.11-0.8.2.1.…
达观数据CTO纪达麒:小标注数据量下自然语言处理实战经验
自然语言处理在文本信息抽取、自动审校、智能问答、情感分析等场景下都有非常多的实际应用需求,在人工智能领域里有极为广泛的应用场景。然而在实际工程应用中,最经常面临的挑战是我们往往很难有大量高质量的标注语料。 “巧妇难为无米…
第三届“达观杯”文本智能信息抽取挑战赛强势来袭,奖金 Offer你想要的都在这里!
“达观杯”是由达观数据主办的全国前沿人工智能和大数据技术竞赛,面向全国数百所高等院校本科及以上学生、大型科技企业和初创科技企业研发人员及各行业数据工作者、爱好者展开,意在发现更多技术人才,共同在NLP应用系统的开发实现突…
自然语言处理 --- L01
基本概念 自然语言理解, NLU, Understanding 形式化(标准化)的数学符号、模型, 模拟人的语言能力 计算语言学, Computational Linguistics 数学模型 自然语言处理, NLP 更…
手把手教程:用Python开发一个自然语言处理模型,并用Flask进行部署
摘要: 实用性教程!教你如何快速创建一个可用的机器学习程序! 截住到目前为止,我们已经开发了许多机器学习模型,对测试数据进行了数值预测,并测试了结果。实际上,生成预测只是机器学习项目的一部分,尽管它是我认为最重…
自然语言生成(NLG)的好处是什么,它如何影响BI?
摘要: 足以让小编失业的NLG,到底如何影响BI? 近年来,我们已经看到了大数据的成功应用,但根据研究,只有20%的员工能够真正的使用BI工具。此外,由于在统计思维方面缺乏培训且图表和图表形式的数据不是很清晰,…
使用Tensorflow创建Transformer模型
Transformer 本篇文章是源码实现,模型原理介绍请查看取代RNN结构的Transformer这篇文章,让我们开始吧! import tensorflow as tf from official.transform…
4种方法计算句子相似度
Edit Distance 计算两个字符串之间,由一个转成另一个所需要的最少编辑次数,次数越多,距离越大,也就越不相关。比如,“xiaoming”和“xiamin”,两者的转换需要两步: 去除‘o’ 去除‘g’ 所以,次…
从Word2Vec到Bert
Word2Vec模型 Word2Vec有两种训练方法:CBOW和Skip-gram。CBOW的核心思想是上下文预测某个单词,Skip-gram正好相反,输入单词,要求网络预测它的上下文。 如上图所示,一个单词表达成wor…
可应用于实际的14个NLP突破性研究成果(四)
摘要:最好的论文是可以直接走出实验室!NLP年度最佳应用论文大集锦! 可应用于实际的14个NLP突破性研究成果(一) 可应用于实际的14个NLP突破性研究成果(二) 可应用于实际的14个NLP突破性研究成果(三) 11.…
Transformer-XL: Unleashing the Potential of Attention Models
简介 现实远程依赖问题,比如要正确理解文章内容,有时需要阅读多处段落,这对人来说轻松自如。但是,对神经网络来说,远程依赖问题依然是一个挑战。虽然基于门控的RNN(LSTM,GRU等)和梯度裁剪等技术提高了对远程依赖建模的…
NLP教程:教你如何自动生成对联
桃符早易朱红纸,杨柳轻摇翡翠群 ——FlyAI Couplets 体验对对联Demo: https://www.flyai.com/couplets 循环神经网络最重要的特点就是可以将序列作为输入和输出,而对联的上联和下…
可应用于实际的14个NLP突破性研究成果(一)
摘要: 最好的论文是可以直接走出实验室!NLP年度最佳应用论文大集锦! 语言理解对计算机来说是一个巨大的挑战。幼儿可以理解的微妙的细微差别仍然会使最强大的机器混淆。尽管深度学习等技术可以检测和复制复杂的语言模式…
NLP度量指标BELU真的完美么?
摘要: NLP重要评价准则之一——BLEU,真的完美无缺么? 刚接触自然语言处理的朋友通常会问我:当系统的输出是文本,而非对输入文本进行某种分类,如何对该系统进行评估。当模型的输入是文本信息,输出也是文本信息时…