基于keras的文本分类

1. 文本预处理

Step1 Tokenizer

keras.preprocessing.text.Tokenizer(num_words=None, 
                                   filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', 
                                   lower=True, split=' ', 
                                   char_level=False, 
                                   oov_token=None)

文本标记实用类
该类允许使用两种方法向量化一个文本语料库: 将每个文本转化为一个整数序列(每个整数都是词典中标记的索引); 或者将其转化为一个向量,其中每个标记的系数可以是二进制值、词频、TF-IDF权重等。
参数

  • num_words: 需要保留的最大词数,基于词频。只有最常出现的 num_words 词会被保留,即词典中会保留num_words个词。
  • filters: 一个字符串,其中每个元素是一个将从文本中过滤掉的字符。默认值是所有标点符号,加上制表符和换行符,减去 ‘ 字符。
  • lower: 布尔值,是否将文本转换为小写。
  • split: 字符串,按该字符串切割文本。
  • char_level: 如果为 True,则每个字符都将被视为标记。
  • oov_token: 如果给出,它将被添加到 word_index 中,并用于在 text_to_sequence 调用期间替换词汇表外的单词。

Tokenizer类的属性

  • word_counts: OrderedDict()类型,用来记录每个词在语料库中出现的次数,其中词是字典的key,出现的频次是value
  • word_docs: defaultDict()类型,用来记录有多少个doc中含有某个词,即统计词的DF(document frequency),注意字典中value的值是从1开始的,因为0用来留给做padding的时候使用。
  • word_index: dict()类型,字典的key是语料库中的词,这些词包括未登陆词OOV,value对应的是词的索引,索引是根据词频进行排序后的
  • index_word: dict()类型,key和value与word_index相反过来

默认情况下,删除所有标点符号,将文本转换为空格分隔的单词序列(单词可能包含 ‘ 字符)。 这些序列然后被分割成标记列表。然后它们将被索引或向量化。0 是不会被分配给任何单词的索引。

Step2 fit_on_text

keras.preprocessing.text.Tokenizer(num_words=None, 
                                   filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', 
                                   lower=True, split=' ', 
                                   char_level=False, 
                                   oov_token=None).fit_on_texts(texts)

在实例化Tokenizer类后,使用fit_on_texts(texts),来更新Tokenizer对象的词典和词频信息。

Step3 texts_to_sequences

keras.preprocessing.text.Tokenizer().texts_to_sequences(texts)

将文本序列转换成整数的索引序列。

Step4 pad_sequences

pad_sequences(sequences, maxlen=None, dtype='int32',
                  padding='pre', truncating='pre', value=0.):

对序列做填充(padding)或修剪(truncating)
因为每个sentence的长度都不一样,在将其转换为integer后,为了后续的批次训练,需要对变长的sentence做填充或修剪。

  • maxlen: 填充到的最大长度
  • truncating: 对序列做修剪,可以从前开始修剪,即truncating=’pre’,也可以从后开始修剪,即truncating=’post’
  • padding: 对序列进行填充,可以从前开始填充,即padding=’pre’,也可以从后开始填充,即padding=’post’
  • value: 填充的值

返回值: 一个shape=(len(sequences), maxlen)的numpy数组

Step5 训练

model.fit(self,
            x=None,
            y=None,
            batch_size=None,
            epochs=1,
            verbose=1,
            callbacks=None,
            validation_split=0.,
            validation_data=None,
            shuffle=True,
            class_weight=None,
            sample_weight=None,
            initial_epoch=0,
            steps_per_epoch=None,
            validation_steps=None,
            **kwargs):
  • x,y 分别为inputs和labels。
  • shuffle: 是否在每个epoch中打乱数据再进行训练。注意,打乱数据的操作是在将数据分成训练集和验证集之后进行的,即只是打乱训练集的数据。
  • callbacks: 回调函数。可以使用early_stopping()的回调函数,可以在过拟合前停止训练。

Step6 保存和加载模型

  1. 保存模型和tokenizer
    注意:保存模型的时候,应该同时保存tokenizer已备后续使用。在保存模型的时候,需要将其保存为hdf5的文件格式。
with open('model/tokenizer.pickle', 'wb') as f:
      pickle.dump(tokenizer, f)
model.save('model/model.h5')
  1. 加载模型和tokenizer
from keras.models import load_model
with open('model/tokenizer.pickle', 'rb') as f:
      tokenizer = pickle.load(f)
model = load_model('model/model.h5')
    原文作者:leotmc
    原文地址: https://www.jianshu.com/p/bb43a0d4deb6
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞