TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一个词语对于一个文件集或一个语料库中的其中一份文档的重要程度。字词的重要性随着它在文件中出现的次数…

谷歌一个月前发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer，用以来实现机器翻译。它抛弃了传统用CNN或者RNN的定式，取得了很好的效果，激起了工业界和学术…

基本概念 自然语言理解, NLU, Understanding 形式化(标准化)的数学符号、模型, 模拟人的语言能力 计算语言学, Computational Linguistics 数学模型 自然语言处理, NLP 更…

影视剧字幕聊天语料库特点，把影视剧说话内容一句一句以回车换行罗列三千多万条中国话，相邻第二句很可能是第一句最好回答。一个问句有很多种回答，可以根据相关程度以及历史聊天记录所有回答排序，找到最优，是一个搜索排序过程。 lu…

人工神经网络，借鉴生物神经网络工作原理数学模型。 由n个输入特征得出与输入特征几乎相同的n个结果，训练隐藏层得到意想不到信息。信息检索领域，模型训练合理排序模型，输入特征，文档质量、文档点击历史、文档前链数目、文档锚文本…

聊天机器人，提问、检索、回答。 提问，查询关键词生成、答案类型确定、句法和语义分析。查询关键词生成，提问提取关键词，中心词关联扩展词。答案类型确定，确定提问类型。句法和语义分析，问题深层含义剖析。检索，搜索，根据查询关键…

中文分词把文本切分成词语，还可以反过来，把该拼一起的词再拼到一起，找到命名实体。 概率图模型条件随机场适用观测值条件下决定随机变量有有限个取值情况。给定观察序列X，某个特定标记序列Y概率，指数函数 exp(∑λt+∑μs…

人工神经网络，借鉴生物神经网络工作原理数学模型。 由n个输入特征得出与输入特征几乎相同的n个结果，训练隐藏层得到意想不到信息。信息检索领域，模型训练合理排序模型，输入特征，文档质量、文档点击历史、文档前链数目、文档锚文本…

Kafka集群环境配置 1 环境准备 1.1 集群规划 Node02 Node03 Node04 zk zk zk kafka kafka kafka 1.2 jar包下载 安装包：kafka_2.11-0.8.2.1.…

中文分词把文本切分成词语，还可以反过来，把该拼一起的词再拼到一起，找到命名实体。 概率图模型条件随机场适用观测值条件下决定随机变量有有限个取值情况。给定观察序列X，某个特定标记序列Y概率，指数函数 exp(∑λt+∑μs…

影视剧字幕聊天语料库特点，把影视剧说话内容一句一句以回车换行罗列三千多万条中国话，相邻第二句很可能是第一句最好回答。一个问句有很多种回答，可以根据相关程度以及历史聊天记录所有回答排序，找到最优，是一个搜索排序过程。 lu…

神经网络。《Make Your Own Neural Network》，用非常通俗易懂描述讲解人工神经网络原理用代码实现，试验效果非常好。 循环神经网络和LSTM。Christopher Olah http://cola…