golang + goquery写个爬虫

2023年4月2日 231次阅读 来源: bigtom

goquery 是一个超好用的库，可以帮你爬取页面，解析页面。我用它写了个糗事百科的爬虫，可以用来看当前有什么好玩的笑话。写代码写累了的时候，看看笑话吧

package main

import (
  "fmt"
  "log"
  "github.com/PuerkitoBio/goquery"
)

func GetJokes(){
  doc, err := goquery.NewDocument("http://www.qiushibaike.com")
  if err != nil{
    log.Fatal(err)
  }
  doc.Find(".content").Each(func(i int, s *goquery.Selection){
    fmt.Println(s.Text())
  })
}

func main(){
  GetJokes()
}

首先使用 goquery.NewDocument去爬取页面，爬取成功后，使用doc.Find()找出所有的class=content的dom并读取其中的内容打印到终端。

是不是超简单。
是不是可以在简历上写上，会用golang写出高性能爬虫了（天真脸）

    原文作者：bigtom
    原文地址: https://www.jianshu.com/p/c8300b24a9eb
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞