关于Scrapy与callback

这几天为了面试的事情,看个很多关于Scrapy以及周边的相关技术的文章和代码,相关的整理如下:

  • Scrapy爬取很多网站的方法:

编程方式下运行 Scrapy spider
使用Scrapy定制可动态配置的爬虫
使用Redis和SQLAlchemy对Scrapy Item去重并存储

这系列的文章对之后的爬虫工作极为有用,值得很大程度的借鉴

  • Scrapy的改造

使用SQLAlchemy
scrapy-redis
scrapinghub

  • 回调与异步

维基百科-callback
Python: yield 的黑魔法

ps:  这里面这段代码极好!!

from collections import defaultdict

def find_anagram(input_data):
    """ find all the anagram from a dictionary
    """

    # initize a cotoutine
    def start(func):
        def _(*args, **kwargs):
            g = func(*args, **kwargs)
            g.send(None)
            return g
        return _

    @start
    def sign(target):
        while True:
            words = yield
            for w in words:
                target.send([''.join(sorted(w)), w])
            target.send(None)  # flag incicates that all data have been seen

    @start
    def sort(target):
        sign_words = []
        while True:
            word = yield
            if word:
                sign_words.append(word)
            else:  # all word have sort
                target.send(sorted(sign_words))

    @start
    def squash():
        nonlocal dictionary  # python3 only: use the variable define in outside
        while True:
            word_list = yield
            for x in word_list:
                dictionary[x[0]].add(x[1])

    dictionary = defaultdict(set)

    sign(sort(squash())).send(input_data)

    # filter the word has no anagram
    return filter(lambda x: len(x[1]) > 1, dictionary.items())


if __name__ == "__main__":

    test_data = ['abc', 'acb', 'bca', 'iterl', 'liter', 'hello',
                 'subessential', 'suitableness', 'hello']
    result = find_anagram(test_data)
    for each in result:
        print(each[0], ':', each[1])
  • ajax爬取的问题

使用PhantomJS 和Selenium 模拟浏览器行为爬取网页
ScrapyJS

  • 大神的笔记

使用python,scrapy写(定制)爬虫的经验,资料,杂。

以上是我这两天所看到的精华,还需要我消化两天。

    原文作者:小武子
    原文地址: https://www.jianshu.com/p/c78bb4df3a49
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞