curl命令详解
用途说明
curl命令是一个功能强大的网络工具，它可以经过http、ftp等方式下载文件，也可以上传文件。其实curl远不止前面所说的那些功能，你们能够经过man curl阅读手册页获取更多的信息。相似的工具还有wget。php
curl命令使用了libcurl库来实现，libcurl库经常使用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C++封装，这几个东西能够用在抓取网页、网络监控等方面的开发，而curl命令能够帮助来解决开发过程当中遇到的问题。css
经常使用参数
curl命令参数不少，这里只列出我曾经用过、特别是在shell脚本中用到过的那些。html
-A:随意指定本身此次访问所宣称的本身的浏览器信息web
-b/--cookie <name=string/file> cookie字符串或文件读取位置，使用option来把上次的cookie信息追加到http request里面去。sql
-c/--cookie-jar <file> 操做结束后把cookie写入到这个文件中shell
-C/--continue-at <offset> 断点续转浏览器
-d/--data <data> HTTP POST方式传送数据服务器
-D/--dump-header <file> 把header信息写入到该文件中cookie
-F/--form <name=content> 模拟http表单提交数据网络
-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。
-m/--max-time <seconds> 指定处理的最大时长
-H/--header <header> 指定请求头参数
-s/--slient 减小输出的信息，好比进度
--connect-timeout <seconds> 指定尝试链接的最大时长
-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080
-T/--upload-file <file> 指定上传文件路径
-o/--output <file> 指定输出文件名称
--retry <num> 指定重试次数
-e/--referer <URL> 指定引用地址
-I/--head 仅返回头部信息，使用HEAD请求
-u/--user <user[:password]>设置服务器的用户和密码
-O:按照服务器上的文件名，自动存在本地
-r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围
-T/--upload-file <file> 上传文件
-w/--write-out <format> 在一次完整且成功的操做后输出指定格式的内容到标准输出（ eg. -w "%{http_code}\n" ）
输出格式由普通字符串和任意数量的变量组成，输出变量须要按照%{variable_name}的格式，若是须要输出%，double一下便可，即%%，同时，\n是换行，\r是回车，\t是TAB。curl会用合适的值来替代输出格式中的变量，一些些可用变量以下：
http_code The numerical response code that was found in the last retrieved HTTP(S) or FTP(s) transfer. In 7.18.2 the alias response_code was added to show the same info. http_connect The numerical code that was found in the last response (from a proxy) to a curl CONNECT request. (Added in 7.12.4) local_ip The IP address of the local end of the most recently done connection - can be either IPv4 or IPv6 (Added in 7.29.0) local_port The local port number of the most recently done connection (Added in 7.29.0) redirect_url When an HTTP request was made without -L to follow redirects, this variable will show the actual URL a redirect would take you to. (Added in 7.18.2) remote_ip The remote IP address of the most recently done connection - can be either IPv4 or IPv6 (Added in 7.29.0) remote_port The remote port number of the most recently done connection(Added in 7.29.0) time_total The total time, in seconds, that the full operation lasted. The time will be displayed with millisecond resolution. url_effective The URL that was fetched last. This is most meaningful if you've told curl to follow location: headers.
使用示例
1，抓取页面内容到一个文件中
[root@xi mytest]# curl -o home.html http://www.baidu.com --将百度首页内容抓下到home.html中
[root@xi mytest]#curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG
因为A/B下的文件名都是001，002...，201，下载下来的文件重名，这样，自定义出来下载下来的文件名，就变成了这样：原来： A/001.JPG —-> 下载后： 001-A.JPG 原来： B/001.JPG ---> 下载后： 001-B.JPG
2，用-O（大写的），后面的url要具体到某个文件，否则抓不下来。还能够用正则来抓取东西
[root@xi mytest]# curl -O http://www.baidu.com/img/bdlogo.gif
运行结果以下：
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1575 100 1575 0 0 14940 0 --:--:-- --:--:-- --:--:-- 1538k
会在当前执行目录中生成一张bdlogo.gif的图片。
[root@xi mytest]# curl -O http://XXXXX/screen[1-10].JPG --下载screen1.jpg~screen10.jpg
3，模拟表单信息，模拟登陆，保存cookie信息
[root@xi mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.PHP
4，模拟表单信息，模拟登陆，保存头信息
[root@xi mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php
-c(小写)产生的cookie和-D里面的cookie是不同的。
5，使用cookie文件
[root@xi mytest]# curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin
6，断点续传，-C(大写)
[root@xi mytest]# curl -C -O http://www.baidu.com/img/bdlogo.gif
7，传送数据,最好用登陆页面测试，由于你传值过去后，curl回抓数据，你能够看到你传值有没有成功
[root@xi mytest]# curl -d log=aaaa http://www.XXXX.com/wp-login.php
8，显示抓取错误，下面这个例子，很清楚的代表了。
[root@xi mytest]# curl -fhttp://www.XXXX.com/asdf
curl: (22) The requested URL returned error: 404
[root@xi mytest]# curlhttp://www.XXXX.com/asdf
<HTML><HEAD><TITLE>404,not found</TITLE>
9，伪造来源地址，有的网站会判断，请求来源地址，防止盗链。
[root@xi mytest]# curl -ehttp://localhosthttp://www.XXXX.com/wp-login.php
10，当咱们常常用curl去搞人家东西的时候，人家会把你的IP给屏蔽掉的,这个时候,咱们能够用代理
[root@xi mytest]# curl -x 24.10.28.84:32779 -o home.htmlhttp://www.XXXX.com
11，比较大的东西，咱们能够分段下载
[root@xi mytest]# curl -r 0-100 -o img.part1http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 105 0 --:--:-- --:--:-- --:--:-- 0
[root@xi mytest]# curl -r 100-200 -o img.part2http://www.XXXX.com/wp-ontent/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 57 0 0:00:01 0:00:01 --:--:-- 0
[root@xi mytest]# curl -r 200- -o img.part3http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 104k 100 104k 0 0 52793 0 0:00:02 0:00:02 --:--:-- 88961
[root@xi mytest]# ls |grep part | xargs du -sh
4.0K one.part1
112K three.part3
4.0K two.part2
用的时候，把他们cat一下就OK,cat img.part* >img.jpg
12，不会显示下载进度信息
[root@xi mytest]# curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif
13，显示下载进度条
[root@xi mytest]# curl -0 http://www.baidu.com/img/bdlogo.gif (以http1.0协议请求)
####################################################################### 100.0%
14,经过ftp下载文件
[xifj@Xi ~]$ curl -u用户名:密码 -Ohttp://www.XXXX.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
[xifj@Xi ~]$ curl -u 用户名:密码 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
或者用下面的方式
[xifj@Xi ~]$ curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css
[xifj@Xi ~]$ curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css
15，经过ftp上传
[xifj@Xi ~]$ curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/
[xifj@Xi ~]$ curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/
15,模拟浏览器头
[xifj@Xi ~]$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.www.baidu.com
16,PUT、GET、POST
好比 curl -T localfile http://cgi2.tky.3web.ne.jp/~zz/abc.cgi，这时候，使用的协议是HTTP的PUT method
刚才说到PUT，天然想起来了其余几种methos－－GET和POST。
http提交一个表单，比较经常使用的是POST模式和GET模式
GET模式什么option都不用，只须要把变量写在url里面就能够了
好比：
curl http://www.yahoo.com/login.cgi?user=nick&password=12345
而POST模式的option则是 -d
好比，curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
就至关于向这个站点发出一次登录申请~~~~~
到底该用GET模式仍是POST模式，要看对面服务器的程序设定。
一点须要注意的是，POST模式下的文件上的文件上传，好比
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="Go">
</form>
这样一个HTTP表单，咱们要用curl进行模拟，就该是这样的语法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi
- 1. curl 命令详解
- 2. CURL命令详解
- 3. Ubuntu命令用法详解——curl命令
- 4. shell--curl 命令详解
- 5. linux的curl命令详解
- 6. Linux命令curl详解(一)
- 7. curl命令使用详解
- 8. wget 与 curl 命令详解
- 9. curl常用命令详解
- 10. curl命令例解
- 更多相关文章...
- • 免费ARP详解 - TCP/IP教程
- • Docker info 命令 - Docker命令大全
- • Docker 清理命令
- • Flink 数据传输及反压详解
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. python的安装和Hello，World编写
- 2. 重磅解读：K8s Cluster Autoscaler模块及对应华为云插件Deep Dive
- 3. 鸿蒙学习笔记2（永不断更）
- 4. static关键字 和构造代码块
- 5. JVM笔记
- 6. 无法启动 C/C++ 语言服务器。IntelliSense 功能将被禁用。错误: Missing binary at c:\Users\MSI-NB\.vscode\extensions\ms-vsc
- 7. 【Hive】Hive返回码状态含义
- 8. Java树形结构递归（以时间换空间）和非递归（以空间换时间）
- 9. 数据预处理---缺失值
- 10. 都要2021年了，现代C++有什么值得我们学习的？
- 1. curl 命令详解
- 2. CURL命令详解
- 3. Ubuntu命令用法详解——curl命令
- 4. shell--curl 命令详解
- 5. linux的curl命令详解
- 6. Linux命令curl详解(一)
- 7. curl命令使用详解
- 8. wget 与 curl 命令详解
- 9. curl常用命令详解
- 10. curl命令例解