数据提取的概念和数据分类

# 数据提取的概念和数据的分类

# 学习目标

了解爬虫的数据的分类

# 1 爬虫中数据的分类

在爬虫爬取的数据中有很多不同类型的数据,我们需要了解数据的不同类型来又规律的提取和解析数据.

结构化数据：json，xml等
- 处理方式：直接转化为python类型
非结构化数据：HTML
- 处理方式：正则表达式、xpath

下面以今日头条的首页为例，介绍结构化数据和非结构化数据

结构化数据例子：

非结构化数据：

XML数据：

<bookstore>
<book category="COOKING">
  <title lang="en">Everyday Italian<!--</span-->title> 
  <author>Giada De Laurentiis<!--</span-->author> 
  <year>2005<!--</span-->year> 
  <price>30.00<!--</span-->price> 
<!--</span-->book>
<book category="CHILDREN">
  <title lang="en">Harry Potter<!--</span-->title> 
  <author>J K. Rowling<!--</span-->author> 
  <year>2005<!--</span-->year> 
  <price>29.99<!--</span-->price> 
<!--</span-->book>
<book category="WEB">
  <title lang="en">Learning XML<!--</span-->title> 
  <author>Erik T. Ray<!--</span-->author> 
  <year>2003<!--</span-->year> 
  <price>39.95<!--</span-->price> 
<!--</span-->book>
<!--</span-->bookstore>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

从上面可以看出，xml数据也是结构非常明显的

# 小结

爬虫中数据分类之结构化数据: json,xml
爬虫中数据分类之非结构化数据:Html,字符串
结构化数据处理的方式有:jsonpath,xpath,转换python类型处理,bs4
非结构化数据处理方式有:正则表达式,xpath,bs4

编辑

← 小结数据提取之json→