无论是使用爬虫框架scrapy，还是简单的requests请求后解析。都不可避免的需要使用html解析库。

当然正则是可以代替一部分搜索。由于正则语法的晦涩，及其其他场景下，html解析是必不可少的。

网上推荐 lxml的比较多，优点：稳定，高效

但是lxml的安装很难一次成功

pip install lxml
如果没报错，那真是烧高香。。。

windows下可以下载wheel文件，并在下载目录执行
pip install xxxx.wheel
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

通常提示缺少libxml2,这是系统自带的版本太低。需要升级libxml2

ubuntu 下
apt-get install libxml2-dev libxslt-dev python-dev

centos 下
yum install libxml2-dev libxslt-dev python-dev

如果这样还不行，可以下载源代码，本地编译。

于是我就遇到这样操蛋的问题
error: command 'gcc' failed with exit status 1

环境：搬瓦工的256M内存，因为内存不够，每次便宜调用gcc 就被系统干掉，而且版瓦工采用的OpenVZ架构，除非重新换机房，否则不能添加临时swap.

方法一：找一个环境相同的系统，将lxml编译成一个wheel,拷贝过去安装。

这个法不行，手头没有这样的环境。

于是乎我直接粗暴的吧本地的lxml这个在site-packet文件夹下的包copy过去了。

结果程序运行了。。。。