Python-memcached的基本使用

想学Python，又想研究下memcached的客户端，因而拿Python-memcached研究研究~~~

1.memcached的安装

请参考本博另外一文章《Linux下安装memcached》

启动一个memcached实例：memcached -m 10 -p 12000

2.Python-memcached安装

到ftp://ftp.tummy.com/pub/python-memcached/下载最新版本的API，并解压tar包

输入python setup.py install命令进行安装

3.小例子演示

将memcached.pyc拷贝到工做目录

#!/usr/bin/env python
 
import memcache
 
mc = memcache.Client(['127.0.0.1:12000'],debug=0)
mc.set("foo","bar")
value = mc.get("foo")
print value

输出获得bar

4.Python-memcached API总结

整个memcache.py只有1241行，至关精简

主要方法以下：

@set(key,val,time=0,min_compress_len=0)

无条件键值对的设置，其中的time用于设置超时，单位是秒，而min_compress_len则用于设置zlib压缩(注:zlib是提供数据压缩用的函式库)

@set_multi(mapping,time=0,key_prefix='',min_compress_len=0)

设置多个键值对，key_prefix是key的前缀，完整的键名是key_prefix+key, 使用方法以下

  >>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []

  >>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2}

@add(key,val,time=0,min_compress_len=0)

添加一个键值对，内部调用_set()方法

@replace(key,val,time=0,min_compress_len=0)

替换value，内部调用_set()方法

@get(key)

根据key去获取value，出错返回None

@get_multi(keys,key_prefix='')

获取多个key的值，返回的是字典。keys为key的列表

@delete(key,time=0)

删除某个key。time的单位为秒，用于确保在特定时间内的set和update操做会失败。若是返回非0则表明成功

@incr(key,delta=1)

自增变量加上delta，默认加1，使用以下

>>> mc.set("counter", "20")  

>>> mc.incr("counter")

21

@decr(key,delta=1)

自减变量减去delta，默认减1

5._set方法

不少方法内部都调用了_set方法，其源码以下：

def _set(self, cmd, key, val, time, min_compress_len = 0):
          self.check_key(key)
          server, key = self._get_server(key)
          if not server:
              return 0
  
          self._statlog(cmd)
  
          store_info = self._val_to_store_info(val, min_compress_len)
          if not store_info: return(0)
  
          if cmd == 'cas':
              if key not in self.cas_ids:
                  return self._set('set', key, val, time, min_compress_len)
              fullcmd = "%s %s %d %d %d %d\r\n%s" % (
                      cmd, key, store_info[0], time, store_info[1],
                      self.cas_ids[key], store_info[2])
          else:
              fullcmd = "%s %s %d %d %d\r\n%s" % (
                      cmd, key, store_info[0], time, store_info[1], store_info[2])
  
          try:
              server.send_cmd(fullcmd)
              return(server.expect("STORED") == "STORED")
          except socket.error, msg:
              if isinstance(msg, tuple): msg = msg[1]
              server.mark_dead(msg)
          return 0

注: memcached 的客户端使用TCP连接与服务器通信, 一个运行中的memcached服务器监视一些端口, 客户端链接这些端口，发送命令到服务器，读取回应，最后关闭链接。（具体命令请参考《Memcached 协议中文版》）

 

6.python-memcached线程安全

本部分转自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/

python-memcached是否是线程安全的

答案是确定的，前提你在使用Python 2.4+和python-memcached 1.36+
为何咱们须要线程安全的memcached client，由于咱们的实际应用通常是多线程的模型，例如cherrypy、twisted，若是python-memcached不是线程安全的话，引发的问题不单单是并发修改共享变量这么简单，是外部socket连接的数据流的混乱
python-memcached怎么实现线程安全的呢？查看源代码看到

try:
    # Only exists in Python 2.4+
    from threading import local
except ImportError:
    # TODO:  add the pure-python local implementation
    class local(object):
        pass
 
class Client(local):

 

很取巧的让Client类继承threading.local，也就是Client里面的每个属性都是跟当前线程绑定的。实现虽然不太优雅，可是很实在。可是别觉得这样就能够随便在线程里面用python-memcached了，由于这种thread local的作法，你的应用必需要使用thread pool的模式，而不能不停建立销毁thread，由于每个新线程的建立，对于就会使用一个全新的Client，也就是一个全新的socket连接，若是不停打开建立销毁thread的话，就会致使不停的建立销毁socket连接，致使性能大量降低。幸亏，不管是cherrypy仍是twisted，都是使用了thread pool的模式