HTTPSQS（HTTP Simple Queue Service）消息队列

时间  2019-12-09
标签 httpsqs http simple queue service 消息 队列 栏目 HTTP/TCP 繁體版
原文   原文链接

HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来作数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.s135.com/httpsqs/
　　使用环境：Linux（同时支持32位、64位操做系统，推荐使用64位操做系统）
　　软件做者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列能够很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采起消息队列来异步插入。另外，还能够将较慢的处理逻辑、有并发数量限制的处理逻辑，经过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具备如下特征：

　　● 很是简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言都可调用。
　　● 很是快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发链接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 能够在不中止服务的状况下便捷地修改单个队列的最大队列数量。
　　● 能够实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 能够查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

　　点击在新窗口中浏览此图片

php


　　一、HTTPSQS 1.7 压力测试：

　　采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
　　使用HTTP Keep-Alive时：23018 requests/sec
　　关闭HTTP Keep-Alive时：11840 requests/sec

　　采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
　　使用HTTP Keep-Alive时：25982 requests/sec
　　关闭HTTP Keep-Alive时：13294 requests/sec

　　详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生产环境应用：在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操做，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。HTTPSQS 2009年12月18日上线至今，运行稳定，既有来自Web服务器的入队列操做，也有来自命令行脚本的批量入、出队列操做。

html


　　二、HTTPSQS 的生产环境应用：

　　●金山通行证（https://my.xoyo.com）
　　队列应用类型：手机短信上行、手机短信下发、邮件下发
　　队列应用要求：稳定性高，存储数据量大
　　队列部署结构：一主、一备两台 HTTPSQS 热备模式

　　●金山用户行为分析系统（http://kbi.xoyo.com）
　　队列应用类型：用户鼠标点击、访问URL原始数据采集
　　队列应用要求：并发性能高，存储数据量大
　　队列部署结构：多台 HTTPSQS 应用层哈希分布式模式

　　●金山网络游戏运营平台 KingEyes
　　队列应用类型：用户操做日志记录

　　●金山逍遥网站内搜索
　　队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操做，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。

　　●金山逍遥网全站通用评论系统
　　队列应用类型：评论发表

　　●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
　　队列应用类型：用户上传的照片异步裁剪、缩放处理

　　●新浪邮箱（http://mail.sina.com.cn）
　　队列应用类型：用户登录日志记录

java


　　三、HTTPSQS 编译安装：
web

ulimit -SHn 65535

wget  http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gz
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable/
./configure --prefix=/usr/local/libevent-2.0.12-stable/
make
make install
cd ../

wget  http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注：在32位Linux操做系统上编译Tokyo cabinet，请使用./configure --enable-off64代替./configure，可使数据库文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../

wget  http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gz
tar zxvf httpsqs-1.7.tar.gz
cd httpsqs-1.7/
make
make install
cd ../




　　四、HTTPSQS 服务器使用文档：

　　点击在新窗口中浏览此图片

　　[root@xoyo ~]# httpsqs -h数据库

-l <ip_addr> 监听的IP地址，默认值为 0.0.0.0 
-p <num> 监听的TCP端口（默认值：1218）
-x <path> 数据库目录，目录不存在会自动建立（例如：/opt/httpsqs/data）
-t <second> HTTP请求的超时时间（默认值：3）
-s <second> 同步内存缓冲区内容到磁盘的间隔秒数（默认值：5）
-c <num> 内存中缓存的最大非叶子节点数（默认值：1024）
-m <size> 数据库内存缓存大小，单位：MB（默认值：100）
-i <file> 保存进程PID到文件中（默认值：/tmp/httpsqs.pid）
-a <auth> 访问HTTPSQS的验证密码（例如：mypass123）
-d 以守护进程运行
-h 显示这个帮助



　　示例：编程

ulimit -SHn 65535 
httpsqs -d -p 1218 -x /data0/queue



　　请使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”来中止httpsqs。

　　注意：请不要使用命令“pkill -9 httpsqs”和“kill -9  httpsqs的进程ID”来结束httpsqs，不然，内存中还没有保存到磁盘的数据将会丢失。

json


　　五、HTTPSQS 客户端使用文档：

　　(1)、入队列（将文本消息放入队列）：

　　HTTP GET 协议（以curl命令为例）：数组

curl "http://host:port/?name=your_queue_name&opt=put&data=通过URL编码的文本消息&auth=mypass123"



　　HTTP POST 协议（以curl命令为例）：浏览器

curl -d "通过URL编码的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"



　　以浏览器为例：
　　点击在新窗口中浏览此图片

　　若是入队列成功，返回：缓存

HTTPSQS_PUT_OK



　　若是入队列失败，返回：

HTTPSQS_PUT_ERROR



　　若是队列已满，返回：

HTTPSQS_PUT_END



　　从HTTPSQS 1.2版本开始，在返回给客户端的HTTP Header头中增长了一行“Pos: xxx”，输出当前队列的读取位置点，例如：

HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14

HTTPSQS_PUT_OK




　　(2)、出队列（从队列中取出文本消息）：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"



curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"



　　以浏览器为例：
　　点击在新窗口中浏览此图片

　　返回消息队列的内容给客户端。

　　若是没有未取出的消息队列，则返回：

HTTPSQS_GET_END



　　从HTTPSQS 1.2版本开始，在返回给客户端的HTTP Header头中增长了一行“Pos: xxx”，输出当前队列的读取位置点，例如：

HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18

消息队列内容



　　参数charset说明（例如：/?charset=utf-8）：
　　指定HTTP输出Header头的字符编码，即：
　　Content-Type: text/plain; charset=utf-8 

　　任何在IANA注册的字符编码都可使用，可是，并非全部的浏览器都能解析所有的字符编码。对于中文，经常使用的字符编码有：utf-八、gb23十二、gbk、gb18030、big5等。


　　(3)、查看队列状态（普通方式，便于浏览器查看）：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"



　　返回（示例）：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39



　　若是“队列写入点值”大于“最大队列数量值”，将重置“队列写入点”为1，即又从1开始存储新的队列内容，覆盖原来队列位置点的内容：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517



　　以浏览器为例：
　　点击在新窗口中浏览此图片


　　(4)、查看队列状态（JSON方式，便于程序处理返回内容）：

　　从HTTPSQS 1.3版本开始支持此功能。

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"



　　返回（示例）：

{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}



　　若是“队列写入点值”大于“最大队列数量值”，将重置“队列写入点”为1，即又从1开始存储新的队列内容，覆盖原来队列位置点的内容：

{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}




　　(5)、查看指定队列位置点的内容：

　　跟通常的队列系统不一样的是，HTTPSQS 能够查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。能够方便地观测进入队列的内容是否正确。

　　另外，假设有一个发送手机短信的队列，由客户端守护进程从队列中取出信息，并调用“短信网关接口”发送短信。可是，若是某段时间“短信网关接口”有故障，而这段时间队列位置点300~900的信息已经出队列，可是发送短信失败，咱们还能够在位置点300~900被覆盖前，查看到这些位置点的内容，做相应的处理。

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"



curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"



　　pos >=1 而且 <= 1000000000

　　返回指定队列位置点的内容。


　　(6)、重置指定队列：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"



　　若是重置成功，返回：

HTTPSQS_RESET_OK



　　若是重置失败，返回：

HTTPSQS_RESET_ERROR




　　(7)、更改指定队列的最大队列数量：

　　默认的最大队列长度（100万条）：1000000

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"



　　num >=10 而且 <= 1000000000

　　若是更改最大队列数量成功，则返回：

HTTPSQS_MAXQUEUE_OK



　　更改的最大队列数量必须大于当前的“队列写入点”。另外，当“队列写入点”小于“队列读取点”时（即PUT位于圆环的第二圈，而GET位于圆环的第一圈时），本操做将被取消，而后返回给客户端如下信息：

HTTPSQS_MAXQUEUE_CANCEL




　　(8)、不中止服务的状况下，修改定时刷新内存缓冲区内容到磁盘的间隔时间：

　　从HTTPSQS 1.3版本开始支持此功能。

　　默认间隔时间：5秒 或 httpsqs -s <second> 参数设置的值。

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"



　　num >=1 and <= 1000000000

　　若是修改间隔时间成功，则返回：

HTTPSQS_SYNCTIME_OK



　　若是 num 不在 1 ～ 1000000000 之间，本操做将被取消，而后返回给客户端如下信息：

HTTPSQS_SYNCTIME_CANCEL




　　(9)、密码校验失败：

　　从HTTPSQS 1.5版本开始支持此功能。

　　若是密码校验失败（/?auth=xxx），将返回如下信息：

HTTPSQS_AUTH_FAILED




　　(10)、全局错误：

　　若是发生全局错误（即指令、参数错误等），将返回如下信息：

HTTPSQS_ERROR




　　六、HTTPSQS 客户端

　　(1)、PHP 客户端说明文档：

　　A、PHP 客户端扩展（第三方提供，详情请访问：http://code.google.com/p/php-httpsqs-client/）

　　B、PHP 客户端 Class 文件（官方提供：适用于 HTTPSQS 1.7 以上版本，推荐使用。）

　　查看 PHP Class 源代码：httpsqs_client.php

　　PHP Client 全部函数使用示例：test_example.php

　　PHP Client 命令行运行示例：test_commandline.php

　　用法：

view plain print ?
  1. <?php  
  2. include_once("httpsqs_client.php");   
  3. $httpsqs = new httpsqs($httpsqs_host, $httpsqs_port, $httpsqs_auth, $httpsqs_charset);   
  4.    
  5. /*  
  6. 1. 将文本信息放入一个队列（注意：若是要放入队列的PHP变量是一个数组，须要事先使用序列化、json_encode等函数转换成文本） 
  7.     若是入队列成功，返回布尔值：true  
  8.     若是入队列失败，返回布尔值：false  
  9. */   
  10. $result = $httpsqs->put($queue_name, $queue_data);   
  11.    
  12. /*  
  13. 2. 从一个队列中取出文本信息 
  14.     返回该队列的内容 
  15.     若是没有未被取出的队列，则返回文本信息：HTTPSQS_GET_END 
  16.     若是发生错误，返回布尔值：false  
  17. */   
  18. $result = $httpsqs->get($queue_name);   
  19.   
  20. /*  
  21. 3. 从一个队列中取出文本信息和当前队列读取点Pos 
  22.     返回数组示例：array("pos" => 7, "data" => "text message") 
  23.     若是没有未被取出的队列，则返回数组：array("pos" => 0, "data" => "HTTPSQS_GET_END") 
  24.     若是发生错误，返回布尔值：false 
  25. */   
  26. $result = $httpsqs->gets($queue_name);  
  27.   
  28. /*  
  29. 4. 查看队列状态（普通方式） 
  30. */   
  31. $result = $httpsqs->status($queue_name);  
  32.   
  33. /*  
  34. 5. 查看队列状态（JSON方式） 
  35.     返回示例：{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10} 
  36. */   
  37. $result = $httpsqs->status_json($queue_name);  
  38.    
  39. /*  
  40. 6. 查看指定队列位置点的内容 
  41.     返回指定队列位置点的内容。 
  42. */   
  43. $result = $httpsqs->view($queue_name, $queue_pos);  
  44.    
  45. /*  
  46. 7. 重置指定队列 
  47.     若是重置队列成功，返回布尔值：true  
  48.     若是重置队列失败，返回布尔值：false  
  49. */   
  50. $result = $httpsqs->reset($queue_name);  
  51.    
  52. /*  
  53. 8. 更改指定队列的最大队列数量 
  54.    若是更改为功，返回布尔值：true 
  55.    若是更改操做被取消，返回布尔值：false 
  56. */   
  57. $result = $httpsqs->maxqueue($queue_name, $num);  
  58.   
  59. /* 
  60. 9. 修改定时刷新内存缓冲区内容到磁盘的间隔时间 
  61.    若是更改为功，返回布尔值：true 
  62.    若是更改操做被取消，返回布尔值：false 
  63. */  
  64. $result = $httpsqs->synctime($num);  
  65. ?>  




　　(2)、Perl 客户端说明文档（第三方提供，做者：tonny0830）：

　　查看Perl客户端源代码：perl client

HttpSQS 模块参数说明
开发平台：CentOS 5.4
Perl版本：5.8.8
Editor: VIM
##################################################################
new 方法：

参数个数：4个

参数说明：
  1.HttpSQS-服务器IP地址。
  2.HttpSQS-工做端口号。
  3.Proto-链接服务器协议类型，TCP 仍是UDP. 默认是TCP链接。
  4.Charset-字符集。默认是UTF-8。
###################################################################
put方法：

参数个数：2个

传递参数：
  1.队列名
    2.以POST方式提交的字符串
####################################################################
get方法：

参数个数：1个

传递参数：
    1.队列名
####################################################################
status方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
view方法：

参数个数：2个

传递参数：
    1.队列名
    2.查看队列的编号
#####################################################################
reset方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
maxqueue方法：

参数个数：2个

传递参数：
    1.队列名
    2.指定的最大队列数
#####################################################################
pput方法：

参数个数：2个

传递参数：
    1.队列名
    2.POST方式提交的数据。
#####################################################################
pget方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
pstatus方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
pview方法：

参数个数：2个

传递参数：
    1.队列名
    2.查看队列的编号。
#####################################################################
pmaxqueue方法：

参数个数：2个

传递参数：
    1.队列名
    2.指定队列的最大数。
#####################################################################
preset方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################

使用的例子见：
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl

 


　　(3)、C 客户端示例（第三方提供，做者：李博）：

　　查看C客户端示例源代码：C client


　　(4)、Java 客户端

　　A、第一款客户端（推荐）（第三方提供，做者：Snow Young）：

　　下载 1.0 版本：http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip

　　从SVN下载最新代码：svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j

　　帮助文档：http://blog.s135.com/book/httpsqs/client/httpsqs4j/


　　B、第二款客户端（第三方提供，做者：李博）：

　　查看Java客户端示例源代码：Java client


　　(5)、Python客户端（第三方提供，做者：Wendal）：

　　下载：http://wendal.net/261.html


　　七、HTTPSQS 生产环境典型应用案例架构：

　　点击在新窗口中浏览此图片

　　一个采用PHP编写的HTTPSQS客户端简单守护进程框架以下：

　　环境，假设PHP安装路径为/usr/local/webserver/php，使用PHP编写一个文件/opt/httpsqs_client_daemon.php：

view plain print ?
  1. <?php  
  2. include_once dirname(__FILE__)."/httpsqs_client.php";     
  3. $httpsqs = new httpsqs($host, $port, $auth, $charset);  
  4. while(true) {  
  5.   $result = $httpsqs->gets($name);  
  6.   $pos = $result["pos"]; //当前队列消息的读取位置点  
  7.   $data = $result["data"]; //当前队列消息的内容  
  8.   if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {  
  9.     ...去作应用操做...  
  10.   } else {  
  11.     sleep(1); //暂停1秒钟后，再次循环  
  12.   }  
  13. }  
  14. ?>  


　　在Linux下，推送到后台执行便可：

nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &




　　八、HTTPSQS 软件版本修改历史：

　　● [2009年12月29日] HTTPSQS 1.1 版本发布。这是第一个开源发布版本。
　　● [2010年03月18日] HTTPSQS 1.2 版本发布。点击这儿查看该版本的新增功能。
　　● [2010年06月28日] HTTPSQS 1.3 版本发布。点击这儿查看该版本的新增功能。
　　● [2011年04月21日] HTTPSQS 1.6 版本发布。点击这儿查看该版本的新增功能。
　　● [2011年07月26日] HTTPSQS 1.7 版本发布。点击这儿查看该版本的新增功能。

　　附：本使用文档修改历史　　● [2009年12月30日] [Version 1.1.0] HTTPSQS 1.1 版本使用文档。　　● [2010年03月18日] [Version 1.2.0] HTTPSQS 1.2 版本使用文档。增长了 HTTPSQS 1.2 版本新增功能的说明，以及生产环境典型应用案例架构图。　　● [2010年03月19日] [Version 1.2.1] 在第7节中，增长了一个采用PHP编写的HTTPSQS客户端简单守护进程框架代码。　　● [2010年04月07日] [Version 1.2.2] 在第6节中，增长了第三方的C客户端示例和Java客户端示例。　　● [2010年04月30日] [Version 1.2.3] 在第6节中，再增长了一款第三方Java客户端：httpsqs4j。　　● [2010年05月11日] [Version 1.2.4] 解决了在某些Linux系统上，默认动态连接库目录中找不到TC动态连接库的问题：/usr/bin/httpsqs: error while loading shared libraries: libtokyocabinet.so.9: cannot open shared object file: No such file or directory。　　● [2010年06月29日] [Version 1.3.0] HTTPSQS 1.3 版本使用文档。增长了 HTTPSQS 1.3 版本新增功能的说明。　　● [2010年08月26日] [Version 1.3.1] 在第6节中，增长了第三方PHP客户端扩展连接。　　● [2011年04月21日] [Version 1.6.0] HTTPSQS 1.6 版本使用文档。增长了 HTTPSQS 1.6 版本新增功能的说明。　　● [2011年07月26日] [Version 1.7.0] HTTPSQS 1.7 版本使用文档。修复一处BUG，改成动态编译HTTPSQS。　　● [2011年11月04日] [Version 1.7.1] 增长支持 HTTPSQS 1.7 版本的 PHP Client Class。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程