什么是Scrapy？ 从维基百科： Scrapy（/skreɪpi/ skray-pee）[1]是一个免费的开放源代码的网页爬虫框架，用Python编写。最初设计用于网页抓取，它也可以用于使用API​​提取数据或作为通用…

网页访问速度的提升，是可以通过代码的优化来实现的。代码的优化，并不是说代码越少越好，而是主要看代码的运行能力和执行效率，看其消耗CPU和内存的多少。例如Facebook近来就宣布通过代码优化而将网站性能提高了一倍，平均访…

目的 数据技术团队，每个成员经常要编写SQL来查询和统计数据，数据源有Hive和DB等，每个人编写习惯或多或少有一些差异，这些差异并不一定会影响结果，但是团队中的其他人阅读代码时会产生困扰，尤其是一些复杂的多表关联查询S…