Python爬虫——实战四：爬取亚马逊的商品价格

2023年6月1日 704次阅读 来源: CodeTutor

亚马逊的html源码中直接包含了价格信息，所以不再需要逆向工程或者渲染引擎方法获取价格信息。
但是在使用urllib2.openurl()获取html页面时，总是返回503错误。尝试用用户代理、Cookies都不行。

搜索这个问题的时候，发现网友给出的代码使用requests库。测试了一下，可以成功获取页面。

#-*-coding:gbk -*-
import urllib2
import lxml.html
import requests

def amazon_price(url, user_agent):
    kv = {'user-agent': user_agent}
    r = requests.get(url, headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    tree = lxml.html.fromstring(r.text.encode("utf-8"))
    price = tree.cssselect("span#priceblock_ourprice")[0]
    return price.text_content().encode("gbk").strip("￥")

if __name__=="__main__": 
    url = "https://www.amazon.cn/dp/B00RG87DUY/"
    user_agent = 'Mozilla/5.0'
    print amazon_price(url, user_agent)
    原文作者：CodeTutor
    原文地址: https://blog.csdn.net/VictoriaW/article/details/77376995
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞