使用python 提取html文件中的特定数据

http://blog.csdn.net/nwpulei/article/details/7272832

python提供了SGMLParser类用于html文件的解析。用户只需从SGMLParser类继承子类,并在子类中对html文件做具体处理。

例如 具有如下结构的html文件

[html]
view plain
copy

  1. <div class=‘entry-content’>  
  2. <p>感兴趣内容1</p>  
  3. <p>感兴趣内容2</p>  
  4. ……  
  5. <p>感兴趣内容n</p>  
  6. </div>  
  7. <div class=‘content’>  
  8. <p>内容1</p>  
  9. <p>内容2</p>  
  10. ……  
  11. <p>内容n</p>  
  12. </div>  

我们尝试获得’感兴趣内容’

对于文本内容,我们保存到IDList中。

可是如何标记我们遇到的文本是感兴趣的内容呢,也就是,处于

[html]
view plain
copy

  1. <div class=‘entry-content’>  
  2. <p>这里的内容</p>  
  3. <p>还有这里</p>  
  4. ……  
  5. <p>以及这里的内容</p>  
  6. </div>  

思路如下

  1. 遇到<div class=’entry-content’> 设置标记flag = True
  2. 遇到</div>后 设置标记flag = False
  3. 当flag 为True时遇到<p> 设置标记getdata = True
  4. 遇到</p> 且getdata = True,设置getdata = False

python为我们提供了SGMLParser类,SGMLParser 将 HTML 分析成 8 类数据[1],然后对每一类调用单独的方法:使用时只需继承SGMLParser 类,并编写页面信息的处理函数。

可用的处理函数如下

  • 开始标记 (Start tag) 

是一个开始一个块的 HTML 标记,象 <html>,<head>,<body> 或 <pre> 等,或是一个独一的标记,象 <br> 或 <img> 等。当它找到一个开始标记 tagname,SGMLParser 将查找名为 
start_tagname 或 
do_tagname 的方法。例如,当它找到一个 <pre> 标记,它将查找一个 start_pre 或 do_pre 的方法。如果找到了,SGMLParser 会使用这个标记的属性列表来调用这个方法;否则,它用这个标记的名字和属性列表来调用 
unknown_starttag 方法。 

  • 结束标记 (End tag) 

是结束一个块的 HTML 标记,象 </html>,</head>,</body> 或 </pre> 等。当找到一个结束标记时,SGMLParser 将查找名为
 end_tagname 的方法。如果找到,SGMLParser 调用这个方法,否则它使用标记的名字来调用 
unknown_endtag 。 

  • 字符引用 (Character reference) 

用字符的十进制或等同的十六进制来表示的转义字符,象 &#160;。当找到,SGMLParser 使用十进制或等同的十六进制字符文本来调用
 handle_charref 。 

  • 实体引用 (Entity reference) 

HTML 实体,象 &copy;。当找到,SGMLParser 使用 HTML 实体的名字来调用 
handle_entityref 。 

  • 注释 (Comment) 

HTML 注释, 包括在 <!– … –>之间。当找到,SGMLParser 用注释内容来调用 
handle_comment。 

  • 处理指令 (Processing instruction) 

HTML 处理指令,包括在 <? … > 之间。当找到,SGMLParser 用处理指令内容来调用 
handle_pi。 

  • 声明 (Declaration) 

HTML 声明,如 DOCTYPE,包括在 <! … >之间。当找到,SGMLParser 用声明内容来调用 
handle_decl。 

  • 文本数据 (Text data) 

文本块。不满足其它 7 种类别的任何东西。当找到,SGMLParser 用文本来调用 
handle_data。 

综上,的到如下代码

[python]
view plain
copy

  1. from sgmllib import SGMLParser  
  2. class GetIdList(SGMLParser):  
  3.     def reset(self):  
  4.         self.IDlist = []  
  5.         self.flag = False  
  6.         self.getdata = False  
  7.         SGMLParser.reset(self)  
  8.           
  9.     def start_div(self, attrs):  
  10.         for k,v in attrs:#遍历div的所有属性以及其值  
  11.             if k == ‘class’ and v == ‘entry-content’:#确定进入了<div class=’entry-content’>  
  12.                 self.flag = True  
  13.                 return  
  14.   
  15.     def end_div(self):#遇到</div>  
  16.     self.flag = False  
  17.               
  18.     def start_p(self, attrs):  
  19.         if self.flag == False:  
  20.             return  
  21.         self.getdata = True  

[python]
view plain
copy

  1. def end_p(self):#遇到</p>  
  2.     if self.getdata:  
  3.         self.getdata = False  
  4.   
  5. def handle_data(self, text):#处理文本  
  6.     if self.getdata:  
  7.         self.IDlist.append(text)  

[python]
view plain
copy

  1. def printID(self):  
  2.     for i in self.IDlist:  
  3.         print i  

上面的思路存在一个bug

遇到</div>后 设置标记flag = False

如果遇到div嵌套怎么办?

[html]
view plain
copy

  1. <div class=‘entry-content’><div>我是来捣乱的</div><p>感兴趣</p></div>  

在遇到第一个</div>之后标记flag = False,导致无法的到‘感兴趣内容’。

怎么办呢?如何判断遇到的</div>是和<div class=’entry-content’>匹配的哪个呢?

很简单,</div>和<div>是对应的,我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div  verbatim减1.这样就可以判断是否是同一层了。

修改后 如下

[python]
view plain
copy

  1. from sgmllib import SGMLParser  
  2. class GetIdList(SGMLParser):  
  3.     def reset(self):  
  4.         self.IDlist = []  
  5.         self.flag = False  
  6.         self.getdata = False  
  7.         self.verbatim = 0  
  8.         SGMLParser.reset(self)  
  9.           
  10.     def start_div(self, attrs):  
  11.         if self.flag == True:  
  12.             self.verbatim +=1 #进入子层div了,层数加1  
  13.             return  
  14.         for k,v in attrs:#遍历div的所有属性以及其值  
  15.             if k == ‘class’ and v == ‘entry-content’:#确定进入了<div class=’entry-content’>  
  16.                 self.flag = True  
  17.                 return  
  18.   
  19.     def end_div(self):#遇到</div>  
  20.         if self.verbatim == 0:  
  21.             self.flag = False  
  22.         if self.flag == True:#退出子层div了,层数减1  
  23.             self.verbatim -=1  
  24.   
  25.     def start_p(self, attrs):  
  26.         if self.flag == False:  
  27.             return  
  28.         self.getdata = True  
  29.           
  30.     def end_p(self):#遇到</p>  
  31.         if self.getdata:  
  32.             self.getdata = False  
  33.   
  34.     def handle_data(self, text):#处理文本  
  35.         if self.getdata:  
  36.             self.IDlist.append(text)  
  37.               
  38.     def printID(self):  
  39.         for i in self.IDlist:  
  40.             print i  

最后  建立了我们自己的类GetIdList后如何使用呢?

简单建立实例 t = GetIdList()

the_page为字符串,内容为html

t.feed(the_page)#对html解析

t.printID()打印出结果

全部测试代码为

[python]
view plain
copy

  1. from sgmllib import SGMLParser  
  2. class GetIdList(SGMLParser):  
  3.     def reset(self):  
  4.         self.IDlist = []  
  5.         self.flag = False  
  6.         self.getdata = False  
  7.         self.verbatim = 0  
  8.         SGMLParser.reset(self)  
  9.           
  10.     def start_div(self, attrs):  
  11.         if self.flag == True:  
  12.             self.verbatim +=1 #进入子层div了,层数加1  
  13.             return  
  14.         for k,v in attrs:#遍历div的所有属性以及其值  
  15.             if k == ‘class’ and v == ‘entry-content’:#确定进入了<div class=’entry-content’>  
  16.                 self.flag = True  
  17.                 return  
  18.   
  19.     def end_div(self):#遇到</div>  
  20.         if self.verbatim == 0:  
  21.             self.flag = False  
  22.         if self.flag == True:#退出子层div了,层数减1  
  23.             self.verbatim -=1  
  24.   
  25.     def start_p(self, attrs):  
  26.         if self.flag == False:  
  27.             return  
  28.         self.getdata = True  
  29.           
  30.     def end_p(self):#遇到</p>  
  31.         if self.getdata:  
  32.             self.getdata = False  
  33.   
  34.     def handle_data(self, text):#处理文本  
  35.         if self.getdata:  
  36.             self.IDlist.append(text)  
  37.               
  38.     def printID(self):  
  39.         for i in self.IDlist:  
  40.             print i  
  41.   
  42.   
  43. ##import urllib2  
  44. ##import datetime  
  45. ##vrg = (datetime.date(2012,2,19) – datetime.date.today()).days  
  46. ##strUrl = ‘http://www.nod32id.org/nod32id/%d.html’%(200+vrg)  
  47. ##req = urllib2.Request(strUrl)#通过网络获取网页  
  48. ##response = urllib2.urlopen(req)  
  49. ##the_page = response.read()  
  50.   
  51. the_page =”'<html> 
  52. <head> 
  53. <title>test</title> 
  54. </head> 
  55. <body> 
  56. <h1>title</h1> 
  57. <div class=’entry-content’> 
  58. <div class= ‘ooxx’>我是来捣乱的</div> 
  59. <p>感兴趣内容1</p> 
  60. <p>感兴趣内容2</p> 
  61. …… 
  62. <p>感兴趣内容n</p> 
  63. <div class= ‘ooxx’>我是来捣乱的2<div class= ‘ooxx’>我是来捣乱的3</div></div> 
  64. </div> 
  65. <div class=’content’> 
  66. <p>内容1</p> 
  67. <p>内容2</p> 
  68. …… 
  69. <p>内容n</p> 
  70. </div> 
  71. </body> 
  72. </html> 
  73. ”’  
  74. lister = GetIdList()  
  75. lister.feed(the_page)  
  76. lister.printID()  

执行后 输出为
[python]
view plain
copy

  1. 感兴趣内容1  
  2. 感兴趣内容2  
  3. 感兴趣内容n  

参考文献

[1] 深入 Python:Dive Into Python 中文版

    原文作者:hshl1214
    原文地址: https://blog.csdn.net/hshl1214/article/details/45718651
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞