自然语言处理(NLP)之从文本中提取时间

2020年11月13日 85次阅读 来源: IT之一小佬

在我们的日常生活和工作中，从文本中提取时间是一项非常基础却重要的工作，因此，接下来将介绍如何从文本中有效地提取时间。
  举个简单的例子，我们需要从下面的文本中提取时间：

6月28日，杭州市统计局权威公布《2019年5月月报》，杭州市医保参保人数达到1006万，相比于2月份的989万，三个月暴涨16万人参保，傲视新一线城市。

我们可以从文本有提取6月28日，2019年5月， 2月份这三个有效时间。
  通常情况下，较好的解决思路是利用深度学习模型来识别文本中的时间，通过一定数量的标记文本和合适的模型。本文尝试利用现有的NLP工具来解决如何从文本中提取时间。

本文使用的工具为哈工大的pyltp，可以在Python的第三方模块中找到，实现下载好分词模型cws.model和词性标注pos.model这两个模型文件。
  Python代码，如下：

import os
from pyltp import Segmentor
from pyltp import Postagger


class LTP(object):
    def __init__(self):
        cws_model_path = os.path.join(os.path.dirname(__file__), 'cws.model')  # 分词模型路径，模型名称为‘cws.model’
        pos_model_path = os.path.join(os.path.dirname(__file__), 'pos.model')  # 词性标注模型路径，模型名称为‘pos.model’
        self.segmentor = Segmentor()  # 初始化实例
        self.segmentor.load(cws_model_path)  # 加载模型
        self.postagger = Postagger()  # 初始实例化
        self.postagger.load(pos_model_path)  # 加载模型

    #  分词
    def segment(self, text):
        words = list(self.segmentor.segment(text))
        return words

    #  词性标注
    def postag(self, words):
        postags = list(self.postagger.postag(words))
        return postags

    #  获取文本的时间
    def get_time(self, text):

        #  开始分词及词性标注
        words = self.segment(text)
        postags = self.postag(words)

        time_list = []

        i = 0
        for tag, word in zip(postags, words):
            if tag == 'nt':
                j = i
                while postags[j] == 'nt' or words[j] in ['至', '到']:
                    j += 1
                time_list.append(''.join(words[i: j]))
            i += 1

        #  去重子字符串的情形
        remove_list = []
        for i in time_list:
            for j in time_list:
                if i != j and i in j:
                    remove_list.append(i)

        text_time_list = []
        for item in time_list:
            if item not in remove_list:
                text_time_list.append(item)

        # print(text_time_list)
        return text_time_list

    #  释放模型
    def free_ltp(self):
        self.segmentor.release()
        self.postagger.release()


if __name__ == '__main__':
    ltp = LTP()

    #  输入文本
    sent = '6月28日，杭州市统计局权威公布《2019年5月月报》，杭州市医保参保人数达到1006万，相比于2月份的989万，三个月暴涨16万人参保，傲视新一线城市。'
    time_list = ltp.get_time(sent)
    ltp.free_ltp()

    #  输出文本中提取的时间
    print('提取时间：%s' % str(time_list))

运行结果：

《自然语言处理(NLP)之从文本中提取时间》

其它测试用例：

此后，6月28日、7月9日和7月11日下午，武威市政协、市人大、市政府分别召开坚决全面彻底肃清火荣贵流毒和影响专题民主生活会。

提取时间：[‘此后’, ‘6月28日’, ‘7月9日’, ‘7月11日下午’]

2006年，上海的国内生产总值达到10296.97亿元，是中国内地第一个GDP突破万亿元的城市。2008年，北京GDP破万亿。两年后，广州GDP超过万亿。2011年，深圳、天津、苏州、重庆4城的GDP也进入了万亿行列。武汉、成都在2014年跻身“万亿俱乐部”，杭州、南京和青岛、无锡和长沙的GDP依次在2015年、2016年和2017年过万亿。宁波和郑州则成为2018年万亿俱乐部的新成员。
提取时间：[‘2006年’, ‘2008年’, ‘2011年’, ‘2014年’, ‘2015年’, ‘2016年’, ‘2018年’]

    原文作者：IT之一小佬
    原文地址: https://blog.csdn.net/weixin_44799217/article/details/116642986
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞