Golang实现简单爬虫框架（1）——项目介绍与环境准备

最近学习Go语言，看了慕课网Google工程师深度讲解go语言这门课，如今把课程中的爬虫项目整理出来，同时也做为本身学习的一个总结。本人菜鸟一枚，若有任何问题，欢迎你们指正。

1、环境准备

一、go语言安装

Go安装包下载网址：https://studygolang.com/dl

选择对应的版本下载便可

Windows用户推荐使用msi安装，简单方便，并且会自动配置好环境变量

打开Windows中的命令提示符（cmd.exe）执行命令：go version查看go语言版本

二、环境配置

而后咱们须要设置Go语言工做空间gopath目录(Go语言开发的项目路径)

Windows 设置以下，新建一个环境变量名称叫作GOPATH，值为你的工做目录，例如GOPATH=D:Workspace

以上 %GOPATH% 目录约定有三个子目录：

src 存放源代码（好比：.go .c .h .s等）

pkg 编译后生成的文件（好比：.a）

bin 编译后生成的可执行文件

bin和pkg目录能够不建立，go命令会自动建立（如 go install），只须要建立src目录便可。

三、Goland安装与破解

（1）安装

Goland官网：https://www.jetbrains.com/go/

选择对应版本下载安装便可

（2）破解

关于Goland的破解方式网上已经又不少文章，能够参考这篇：https://blog.csdn.net/dodod20...

2、项目介绍

本次爬虫爬取的是珍爱网的用户信息数据，爬取步骤为：

• 1.进入珍爱网城市页面爬取全部的城市信息
• 2.进入城市详情页爬取用户URL地址信息
• 3.进入用户详情页爬取所须要的用户信息

爬虫算法以下

在下篇博客中，会实现一个单机版的爬虫项目，敬请关注。