• 数据提取
  • 介绍
  • 概要
  • 数据提取概念和数据的分类
    • 什么是数据提取
    • 数据的种类
      • 构化数据
      • 非结构化数据
    • 总结

数据提取

介绍

用网络获取的数据中提取出想要的数据。

概要

• 数据提取概念和数据的分类
• 使用 json 模块提取数据
• 使用正则表达式提取数据
• 使用 xpath 提取数据
• 使用 beautifulsoup 提取数据
• json、csv 数据转换

数据提取概念和数据的分类

什么是数据提取

简单的来说，数据提取就是从响应中获取我们想要的数据的过程

数据的种类

构化数据

• 数据类型

• json 格式数据

  {
  "name":"hello",
  "age":18,
  "parents":{
    "mother":"妈妈",
    "father":"爸爸"
  }
  }
  

• xml 格式数据

  <bookstore>
  <book category="COOKING">
    <title lang="en">Everyday Italian</title> 
    <author>Giada De Laurentiis</author> 
    <year>2005</year> 
    <price>30.00</price> 
  </book>
  <book category="CHILDREN">
    <title lang="en">Harry Potter</title> 
    <author>J K. Rowling</author> 
    <year>2005</year> 
    <price>29.99</price> 
  </book>
  <book category="WEB">
    <title lang="en">Learning XML</title> 
    <author>Erik T. Ray</author> 
    <year>2003</year> 
    <price>39.95</price> 
  </book>
  </bookstore>
  

• 处理方式

  通过 json 模块等直接转成 Python 数据类型

非结构化数据

• 数据类型
  • html 格式数据
  • word 格式数据
  • 等
• 处理方式

  通过 正则表达式 、 xpath 、beautifulsoup 等模块提取数据

总结

• 数据提取 从网络获取数据中提取想要的数据
• 数据的种类
  • 结构化数据
  • json
  • xml
• 非结构化数据
  • html
  • word