golang + goquery写个爬虫

goquery 是一个超好用的库,可以帮你爬取页面,解析页面。我用它写了个糗事百科的爬虫,可以用来看当前有什么好玩的笑话。写代码写累了的时候,看看笑话吧

package main

import (
  "fmt"
  "log"
  "github.com/PuerkitoBio/goquery"
)

func GetJokes(){
  doc, err := goquery.NewDocument("http://www.qiushibaike.com")
  if err != nil{
    log.Fatal(err)
  }
  doc.Find(".content").Each(func(i int, s *goquery.Selection){
    fmt.Println(s.Text())
  })
}

func main(){
  GetJokes()
}

首先使用 goquery.NewDocument去爬取页面,爬取成功后,使用doc.Find()找出所有的class=content的dom并读取其中的内容打印到终端。

是不是超简单。
是不是可以在简历上写上,会用golang写出高性能爬虫了(天真脸)

    原文作者:bigtom
    原文地址: https://www.jianshu.com/p/c8300b24a9eb
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞