简介
利用tushare做了一个爬取股票数据的程序,目标是每天收盘后自动爬取所有股票的基本面数据,并存入自己的数据库。
遇到的坑
tushare包依赖lxml,一次性通过pip install -r requirement.txt
总是显示安装失败,报错。
ImportError: No module named lxml.html
后来经过多次尝试,终于解决,步骤如下:
先将
requirement.txt
中的tushare依赖去掉,执行git push heroku master
提交代码,这时不会报错,成功安装。再将tushare依赖加回到
requirement.txt
中,再次提交代码,此事lxml包已经成功安装,就不会再报错了。
这里再注意一个问题,heroku中python项目分两种类型:web和worker。我这里的项目类型应该为worker,Procfile配置如下:
worker: python index.py