PHP爬虫 -- 007 composer了解一下?

什么是composer?

• 是 PHP 用来管理依赖（dependency）关系的工具。
• 你能够在本身的项目中声明所依赖的外部工具库/第三方类库
• Composer 会帮你安装这些依赖的库文件。
• Python有pip, Nodejs有npm, php有composer
• 相似于软件管家之于windows

composer

• 中文网: www.phpcomposer.com/

如何安装?

• 参见: composer入门指南 docs.phpcomposer.com/00-intro.ht…
• composer入门指南之window安装 docs.phpcomposer.com/00-intro.ht…
• 把php.exe所在路径, 加入到环境变量
• 在命令行中输入php -v检查是否安装成功

  

• 从url下载文件, 生成composer.phar

php -r "readfile('https://getcomposer.org/installer');" | php
复制代码

• 打开phpstudy 或者修改php.ini

• 运行以下命令

echo @php "%~dp0composer.phar" %*>composer.bat
复制代码

• 检查是否安装成功, 能够经过查看版本的方式

composer -V
复制代码

什么是中国镜像?

• 当你使用composer安装第三方库的时候, 它是请求的外网(packaglist)
• 也就是www.packagist.org/
• 而packaglist的代码, 是从github上下载过来的
• 由于众所周知的缘由, 网速不出所料的慢...
• 为了解决网速慢的问题
• 一群中国的有识之士, 本身在中国搭建了服务器
• 先把外国的代码下载到中国的服务器, 而后向外发布
• 这样, 咱们下载代码时, 访问的是中国的服务器, 速度固然快

什么是配置中国镜像

• 配置composer, 让它在下载代码时, 去请求中国的服务器, 而不是国外的

如何配置

• 参见: pkg.phpcomposer.com/
• 全局配置

composer config -g repo.packagist composer https://packagist.phpcomposer.com
复制代码

了解php爬虫框架querylist

• 官网: www.querylist.cc/

使用composer安装querylist

composer require jaeger/querylist
复制代码

• 首先新建一个项目, demo
• 使用vscode打开
• 在vscode中, 打开命令行(鼠标移到下方, 从下往上拖动)
• 执行命令 composer require jaeger/querylist
• 若是安装安装成功, 会多一个vendor文件夹,和composer.json文件, composer.lock锁定版本的文件

检测querylist是否安装成功

• 运行php代码, 看看是否能抓取到数据

<?php

use QL\QueryList;
require 'vendor/autoload.php';
//采集某页面全部的图片
$data = QueryList::get('http://cms.querylist.cc/bizhi/453.html')->find('img')->attrs('src');
//打印结果
print_r($data->all());

//采集某页面全部的超连接和超连接文本内容
//能够先手动获取要采集的页面源码
$html = file_get_contents('http://cms.querylist.cc/google/list_1.html');
//而后能够把页面源码或者HTML片断传给QueryList
$data = QueryList::html($html)->rules([ //设置采集规则
    // 采集全部a标签的href属性
    'link' => ['a', 'href'],
    // 采集全部a标签的文本内容
    'text' => ['a', 'text'],
])->query()->getData();
//打印结果
print_r($data->all());

复制代码

• 运行结果

下一节

• PHP爬虫 -- 008 爬虫初探