基于keras的文本分类

2023年9月3日 459次阅读 来源: leotmc

1. 文本预处理

Step1 Tokenizer

keras.preprocessing.text.Tokenizer(num_words=None, 
                                   filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', 
                                   lower=True, split=' ', 
                                   char_level=False, 
                                   oov_token=None)

文本标记实用类
该类允许使用两种方法向量化一个文本语料库： 将每个文本转化为一个整数序列（每个整数都是词典中标记的索引）； 或者将其转化为一个向量，其中每个标记的系数可以是二进制值、词频、TF-IDF权重等。
参数

  • num_words: 需要保留的最大词数，基于词频。只有最常出现的 num_words 词会被保留，即词典中会保留num_words个词。
  • filters: 一个字符串，其中每个元素是一个将从文本中过滤掉的字符。默认值是所有标点符号，加上制表符和换行符，减去 ‘ 字符。
  • lower: 布尔值，是否将文本转换为小写。
  • split: 字符串，按该字符串切割文本。
  • char_level: 如果为 True，则每个字符都将被视为标记。
  • oov_token: 如果给出，它将被添加到 word_index 中，并用于在 text_to_sequence 调用期间替换词汇表外的单词。

Tokenizer类的属性

  • word_counts: OrderedDict()类型，用来记录每个词在语料库中出现的次数，其中词是字典的key，出现的频次是value
  • word_docs: defaultDict()类型，用来记录有多少个doc中含有某个词，即统计词的DF(document frequency)，注意字典中value的值是从1开始的，因为0用来留给做padding的时候使用。
  • word_index: dict()类型，字典的key是语料库中的词，这些词包括未登陆词OOV，value对应的是词的索引，索引是根据词频进行排序后的
  • index_word: dict()类型，key和value与word_index相反过来

默认情况下，删除所有标点符号，将文本转换为空格分隔的单词序列（单词可能包含 ‘ 字符）。 这些序列然后被分割成标记列表。然后它们将被索引或向量化。0 是不会被分配给任何单词的索引。

Step2 fit_on_text

keras.preprocessing.text.Tokenizer(num_words=None, 
                                   filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', 
                                   lower=True, split=' ', 
                                   char_level=False, 
                                   oov_token=None).fit_on_texts(texts)

在实例化Tokenizer类后，使用fit_on_texts(texts)，来更新Tokenizer对象的词典和词频信息。

Step3 texts_to_sequences

keras.preprocessing.text.Tokenizer().texts_to_sequences(texts)

将文本序列转换成整数的索引序列。

Step4 pad_sequences

pad_sequences(sequences, maxlen=None, dtype='int32',
                  padding='pre', truncating='pre', value=0.):

对序列做填充(padding)或修剪(truncating)
因为每个sentence的长度都不一样，在将其转换为integer后，为了后续的批次训练，需要对变长的sentence做填充或修剪。

  • maxlen: 填充到的最大长度
  • truncating: 对序列做修剪，可以从前开始修剪，即truncating=’pre’，也可以从后开始修剪，即truncating=’post’
  • padding: 对序列进行填充，可以从前开始填充，即padding=’pre’，也可以从后开始填充，即padding=’post’
  • value: 填充的值

返回值: 一个shape=(len(sequences), maxlen)的numpy数组

Step5 训练

model.fit(self,
            x=None,
            y=None,
            batch_size=None,
            epochs=1,
            verbose=1,
            callbacks=None,
            validation_split=0.,
            validation_data=None,
            shuffle=True,
            class_weight=None,
            sample_weight=None,
            initial_epoch=0,
            steps_per_epoch=None,
            validation_steps=None,
            **kwargs):
  • x,y 分别为inputs和labels。
  • shuffle: 是否在每个epoch中打乱数据再进行训练。注意，打乱数据的操作是在将数据分成训练集和验证集之后进行的，即只是打乱训练集的数据。
  • callbacks: 回调函数。可以使用early_stopping()的回调函数，可以在过拟合前停止训练。

Step6 保存和加载模型

  1. 保存模型和tokenizer
    注意：保存模型的时候，应该同时保存tokenizer已备后续使用。在保存模型的时候，需要将其保存为hdf5的文件格式。
with open('model/tokenizer.pickle', 'wb') as f:
      pickle.dump(tokenizer, f)
model.save('model/model.h5')
  1. 加载模型和tokenizer
from keras.models import load_model
with open('model/tokenizer.pickle', 'rb') as f:
      tokenizer = pickle.load(f)
model = load_model('model/model.h5')
    原文作者：leotmc
    原文地址: https://www.jianshu.com/p/bb43a0d4deb6
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞