【NLP】NLP数据标注工具汇总

2023年2月17日 477次阅读 来源: 风度78

写在前面

中文NLP领域比较困扰的点在于缺乏数据，尤其像事件抽取这样的任务。完全人工标注（不依赖标注系统）非常耗时费力，因为这不仅需要标注人员标注，还需要他们定位所标注的内容在句中或者篇章中的位置，非常容易出错。所以，想要搭建一个针对事件抽取的标注系统。

在调研如何造轮子时，发现有些开源工具或许可以用，可以避免不必要的标注工具开发时间。这篇文章就对调研到的开源工具做一个简要汇总。

如果本文对你有帮助，记得在文末点赞+在看，也可以分享给你的朋友～～。

一、开源数据标注工具

1. BRAT

  • 安装环境：osx或者linux系统，windows（linux虚拟环境）

  • 标注任务支持：实体识别、实体关系抽取、事件抽取标注

  • 标注语言支持：可适配到中文标注

  • 标注任务扩展：可适配到Aspect-Based Sentiment Analysis方向数据标注

  • 相关：

    • 官方介绍[1]

    • BRAT项目github地址[2]

    • brat使用[3]

2. prodigy

  • 标注任务支持：实体识别、分类、情感分析

  • 标注语言支持：只针对英文

  • 特点：基于主动学习的标注工具

3. Chinese-Annotator

  • 标注任务支持：中文命名实体识别、中文关系识别、中文文本分类

  • 安装环境：面向OSX

  • 特点：灵感来源Prodigy，基于主动学习的标注系统，同时支持用户标注

  • 相关：

    • Chinese-Annotator项目github地址[4]

4. YEDDA

  • 标注任务支持：实体识别、实体关系抽取、事件抽取

  • 标注语言支持：支持大部分语言，包括英语、中文

  • 特点：基于python2、可标记种类数只有7种

  • 相关：

    • YEDDA项目github地址[5]

5. IEPY

  • 标注任务支持：主要是关系抽取

  • 相关：

    • IEPY项目github地址[6]

    • 官方说明文档[7]

6. Doccano

  • 标注任务支持：实体识别、情感分类、机器翻译

  • 标注语言：多语言

    • Doccano项目github地址[8]

    • Doccano实体标注演示demo[9]

7. Deepdive

  • 相关：

    • DeepDive[10]

8. snorkel

  • 相关：

    • snorkel项目github地址[11]

二、总结

目前来看要做中文领域事件抽取样本标注，可选用的是YEDDA和BRAT。笔者已经使用过BRAT来进行事件抽取标注了，后续针对BRAT的使用方法会专门出一期文章。

三、其他参考资料：

  • 2019常用NLP标注工具简单介绍[12]

  • 中文文本标注工具调研以及BRAT安装使用[13]

  • 语料标注工具1[14]

  • 语料标注工具2[15]

  • 语料标注工具3[16]

  • 情感分析系列之《利用BRAT进行中文情感分析语料标注》[17]

参考资料

[1]

官方介绍: http://brat.nlplab.org/introduction.html

[2]

BRAT项目github地址: https://github.com/nlplab/brat

[3]

brat使用: https://blog.csdn.net/guofei_fly/article/details/104113217

[4]

Chinese-Annotator项目github: https://github.com/deepwel/Chinese-Annotator

[5]

YEDDA项目github地址: https://github.com/jiesutd/YEDDA

[6]

IEPY项目github地址: https://github.com/machinalis/iepy

[7]

官方说明文档: https://iepy.readthedocs.io/en/latest/

[8]

Doccano项目github地址: https://github.com/doccano/doccano

[9]

Doccano实体标注演示demo: http://doccano.herokuapp.com/demo/named-entity-recognition/

[10]

DeepDive: http://deepdive.stanford.edu/labeling

[11]

snorkel项目github地址: https://github.com/snorkel-team/snorkel

[12]

2019常用NLP标注工具简单介绍: https://blog.csdn.net/weixin_44912159/article/details/103654550

[13]

中文文本标注工具调研以及BRAT安装使用: https://www.jianshu.com/p/3a70ee9ad632

[14]

语料标注工具1: https://zhuanlan.zhihu.com/p/64513343

[15]

语料标注工具2: https://zhuanlan.zhihu.com/p/64574125

[16]

语料标注工具3: https://zhuanlan.zhihu.com/p/64745990

[17]

情感分析系列之《利用BRAT进行中文情感分析语料标注》: https://blog.csdn.net/owengbs/article/details/49780225

关于NLP数据标注工具的内容就到这里了。如果本文对你有所帮助，记得点赞+在看，也可以分享给你需要的朋友～～。

往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载中国大学慕课《机器学习》（黄海广主讲）机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑机器学习交流qq群955171419，加入微信群请扫码：
《【NLP】NLP数据标注工具汇总》
     原文作者：风度78
     原文地址: https://blog.csdn.net/fengdu78/article/details/124893073
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。 
  点赞