1. 文本预处理
Step1 Tokenizer
keras.preprocessing.text.Tokenizer(num_words=None,
filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~',
lower=True, split=' ',
char_level=False,
oov_token=None)
文本标记实用类
该类允许使用两种方法向量化一个文本语料库: 将每个文本转化为一个整数序列(每个整数都是词典中标记的索引); 或者将其转化为一个向量,其中每个标记的系数可以是二进制值、词频、TF-IDF权重等。
参数
- num_words: 需要保留的最大词数,基于词频。只有最常出现的 num_words 词会被保留,即词典中会保留num_words个词。
- filters: 一个字符串,其中每个元素是一个将从文本中过滤掉的字符。默认值是所有标点符号,加上制表符和换行符,减去 ‘ 字符。
- lower: 布尔值,是否将文本转换为小写。
- split: 字符串,按该字符串切割文本。
- char_level: 如果为 True,则每个字符都将被视为标记。
- oov_token: 如果给出,它将被添加到 word_index 中,并用于在 text_to_sequence 调用期间替换词汇表外的单词。
Tokenizer类的属性
- word_counts: OrderedDict()类型,用来记录每个词在语料库中出现的次数,其中词是字典的key,出现的频次是value
- word_docs: defaultDict()类型,用来记录有多少个doc中含有某个词,即统计词的DF(document frequency),注意字典中value的值是从1开始的,因为0用来留给做padding的时候使用。
- word_index: dict()类型,字典的key是语料库中的词,这些词包括未登陆词OOV,value对应的是词的索引,索引是根据词频进行排序后的
- index_word: dict()类型,key和value与word_index相反过来
默认情况下,删除所有标点符号,将文本转换为空格分隔的单词序列(单词可能包含 ‘ 字符)。 这些序列然后被分割成标记列表。然后它们将被索引或向量化。0 是不会被分配给任何单词的索引。
Step2 fit_on_text
keras.preprocessing.text.Tokenizer(num_words=None,
filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~',
lower=True, split=' ',
char_level=False,
oov_token=None).fit_on_texts(texts)
在实例化Tokenizer类后,使用fit_on_texts(texts),来更新Tokenizer对象的词典和词频信息。
Step3 texts_to_sequences
keras.preprocessing.text.Tokenizer().texts_to_sequences(texts)
将文本序列转换成整数的索引序列。
Step4 pad_sequences
pad_sequences(sequences, maxlen=None, dtype='int32',
padding='pre', truncating='pre', value=0.):
对序列做填充(padding)或修剪(truncating)
因为每个sentence的长度都不一样,在将其转换为integer后,为了后续的批次训练,需要对变长的sentence做填充或修剪。
- maxlen: 填充到的最大长度
- truncating: 对序列做修剪,可以从前开始修剪,即truncating=’pre’,也可以从后开始修剪,即truncating=’post’
- padding: 对序列进行填充,可以从前开始填充,即padding=’pre’,也可以从后开始填充,即padding=’post’
- value: 填充的值
返回值: 一个shape=(len(sequences), maxlen)的numpy数组
Step5 训练
model.fit(self,
x=None,
y=None,
batch_size=None,
epochs=1,
verbose=1,
callbacks=None,
validation_split=0.,
validation_data=None,
shuffle=True,
class_weight=None,
sample_weight=None,
initial_epoch=0,
steps_per_epoch=None,
validation_steps=None,
**kwargs):
- x,y 分别为inputs和labels。
- shuffle: 是否在每个epoch中打乱数据再进行训练。注意,打乱数据的操作是在将数据分成训练集和验证集之后进行的,即只是打乱训练集的数据。
- callbacks: 回调函数。可以使用early_stopping()的回调函数,可以在过拟合前停止训练。
Step6 保存和加载模型
- 保存模型和tokenizer
注意:保存模型的时候,应该同时保存tokenizer已备后续使用。在保存模型的时候,需要将其保存为hdf5的文件格式。
with open('model/tokenizer.pickle', 'wb') as f:
pickle.dump(tokenizer, f)
model.save('model/model.h5')
- 加载模型和tokenizer
from keras.models import load_model
with open('model/tokenizer.pickle', 'rb') as f:
tokenizer = pickle.load(f)
model = load_model('model/model.h5')