菜单 学习猿地 - LMONKEY

VIP

开通学习猿地VIP

尊享10项VIP特权 持续新增

知识通关挑战

打卡带练!告别无效练习

接私单赚外块

VIP优先接,累计金额超百万

学习猿地私房课免费学

大厂实战课仅对VIP开放

你的一对一导师

每月可免费咨询大牛30次

领取更多软件工程师实用特权

入驻
1644
1

【转】Golang 网络爬虫框架 gocolly/colly

原创
05/13 14:22
阅读数 2542

gocolly是用go实现的网络爬虫框架,目前在github上具有8600+星,名列go版爬虫程序榜首。gocolly快速优雅,在单核上每秒可以发起1K以上请求;以回调函数的形式提供了一组接口,可以实现任意类型的爬虫;依赖goquery库可以像jquery一样选择web元素。

gocolly的官方网站是 http://go-colly.org/,提供了详细的文档和示例代码。

安装colly: go get -u github.com/gocolly/colly

在代码中导入包:import "github.com/gocolly/colly"

colly的主体是Collector对象,管理网络通信和负责在作业运行时执行附加的回掉函数。

使用colly需要先初始化Collector:colly.NewCollector()

可以向colly附加各种不同类型的回掉函数,来控制收集作业或获取信息。

回掉函数的调用顺序如下:

1. OnRequest 在发起请求前被调用
2. OnError 请求过程中如果发生错误被调用
3. OnResponse 收到回复后被调用
4. OnHTML 在OnResponse之后被调用,如果收到的内容是HTML

5. OnScraped 在OnHTML之后被调用

官方提供的Basic示例代码:

func main() {
    c := colly.NewCollector()

    // Find and visit all links
    c.OnHTML("a", func(e *colly.HTMLElement) {
        e.Request.Visit(e.Attr("href"))
    })

    c.OnRequest(func(r *colly.Request) {
        fmt.Println("Visiting", r.URL)
    })

    c.Visit("http://go-colly.org/")
}

ECHO:

Visiting http://go-colly.org/
Visiting http://go-colly.org/docs/
Visiting http://go-colly.org/articles/
Visiting http://go-colly.org/services/
Visiting http://go-colly.org/datasets/
Visiting https://godoc.org/github.com/gocolly/colly
Visiting https://godoc.org/
Visiting https://godoc.org/-/about
Visiting https://golang.org/

发表评论

0/200
1644 点赞
1 评论
收藏
为你推荐 换一批