[Go言語]Go言語でスクレイピング!~CSVファイル出力付き~

こんにちは。KOUKIです。

goroutineを学ぶために、何かサンプルがないかとYoutubeで探していたところ、面白そうな動画がアップロードされてました。

この動画で紹介されているコードは、Webページから情報をスクレイピングして、その結果をCSVファイルに出力します。

goroutine化ができそうなコードだったので紹介します。

<目次>

必要なモジュール

go get -u github.com/gocolly/colly/...

1	go get -u github.com/gocolly/colly/...

goroutine化前

package main

import (
	"encoding/csv"
	"fmt"
	"log"
	"os"
	"strconv"
	"time"

	"github.com/gocolly/colly"
)

func main() {
	fName := "data.csv"
	// data.csvを作成する
	file, err := os.Create(fName)
	if err != nil {
		log.Fatalf("Could not create file, err :%q", err)
		return
	}
	defer file.Close()

	// csv操作インスタンス
	writer := csv.NewWriter(file)
	defer writer.Flush()

	// collyインスタンス
	c := colly.NewCollector(
		colly.AllowedDomains("internshala.com"),
	)

	// html -> .internship_meta要素にアクセス
	c.OnHTML(".internship_meta", func(e *colly.HTMLElement) {
		writer.Write([]string{
			// aタグ
			e.ChildText("a"),
			// spanタグ
			e.ChildText("span"),
		})
	})

	start := time.Now()
	// スクレイピング
	for i := 0; i < 312; i++ {
		fmt.Printf("Scraping Page: %d\n", i)
		c.Visit("https://internshala.com/internships/page-" + strconv.Itoa(i))
	}

	// 後処理
	end := time.Now()
	log.Println("Scraping Complete")
	log.Printf("Time:%v", end.Sub(start))
	log.Println(c)
}

package main

import (

"encoding/csv"

"fmt"

"log"

"os"

"strconv"

"time"

"github.com/gocolly/colly"

)

func main() {

fName := "data.csv"

// data.csvを作成する

file, err := os.Create(fName)

if err != nil {

log.Fatalf("Could not create file, err :%q", err)

return

}

defer file.Close()

// csv操作インスタンス

writer := csv.NewWriter(file)

defer writer.Flush()

// collyインスタンス

c := colly.NewCollector(

colly.AllowedDomains("internshala.com"),

)

// html -> .internship_meta要素にアクセス

c.OnHTML(".internship_meta", func(e *colly.HTMLElement) {

writer.Write([]string{

// aタグ

e.ChildText("a"),

// spanタグ

e.ChildText("span"),

})

start := time.Now()

// スクレイピング

for i := 0; i < 312; i++ {

fmt.Printf("Scraping Page: %d\n", i)

c.Visit("https://internshala.com/internships/page-" + strconv.Itoa(i))

}

// 後処理

end := time.Now()

log.Println("Scraping Complete")

log.Printf("Time:%v", end.Sub(start))

log.Println(c)

}

簡単な説明は、コメントしました。本当に簡単ですけどね^^;

このプログラムを実行するとWebページからスクレイピングした情報をdata.csvファイルに出力します。

go run main.go

Scraping Page: 0
Scraping Page: 1
Scraping Page: 2
Scraping Page: 3
....
2020/12/21 07:24:44 Scraping Complete
2020/12/21 07:24:44 Time:3m30.197672269s
2020/12/21 07:24:44 Requests made: 312 (312 responses) | Callbacks: OnRequest: 0, OnHTML: 1, OnResponse: 0, OnError: 0

go run main.go

Scraping Page: 0

Scraping Page: 1

Scraping Page: 2

Scraping Page: 3

....

2020/12/21 07:24:44 Scraping Complete

2020/12/21 07:24:44 Time:3m30.197672269s

2020/12/21 07:24:44 Requests made: 312 (312 responses) | Callbacks: OnRequest: 0, OnHTML: 1, OnResponse: 0, OnError: 0

「Time:3m30.197672269s」と表示されたので、約3分かかるようですね。これをgoroutineを使って高速化しましょう。

goroutine化後

直感的な感じだとネットワーク越しにアクセスしている「c.Visit」の処理がボトルネックになっている気がします。

この処理をgoroutine化してみましょう。

	start := time.Now()

	var wg sync.WaitGroup
	// スクレイピング
	for i := 0; i < 312; i++ {
		wg.Add(1)
		// goroutine化
		go func(i int) {
			defer wg.Done()
			fmt.Printf("Scraping Page: %d\n", i)
			c.Visit("https://internshala.com/internships/page-" + strconv.Itoa(i))
		}(i)

	}
	wg.Wait()

start := time.Now()

var wg sync.WaitGroup

// スクレイピング

for i := 0; i < 312; i++ {

wg.Add(1)

// goroutine化

go func(i int) {

defer wg.Done()

fmt.Printf("Scraping Page: %d\n", i)

c.Visit("https://internshala.com/internships/page-" + strconv.Itoa(i))

}(i)

}

wg.Wait()

goroutine化するとその処理がサブプロセスとして実行されます。

しかし、実装上、main関数の処理が先に終了してしまうので、syncパッケージのWaitGroupを使って、サブプロセスが全て終了するまで、main関数が終了するのを待ちます。

プログラムを実行してみましょう。

go run main.go

2020/12/21 10:24:25 Scraping Complete
2020/12/21 10:24:25 Time:2.763387294s
2020/12/21 10:24:25 Requests made: 312 (10 responses) | Callbacks: OnRequest: 0, OnHTML: 1, OnResponse: 0, OnError: 0