memcache(转)

转:

Memcached笔记——(一)安装&常规错误&监控 

一、下载 
1.Libevent 
简单的说就是一个事件触发的网络库,Memcached离不开它。 

Shell代码    收藏代码
  1. wget http://cloud.github.com/downloads/libevent/libevent/libevent-2.0.17-stable.tar.gz  


2.Memcached 
今天的主角 

Shell代码    收藏代码
  1. wget http://memcached.googlecode.com/files/memcached-1.4.13.tar.gz  


二、安装 
1.Libevent 
解压缩 

Shell代码    收藏代码
  1. tar zxvf libevent-2.0.17-stable.tar.gz  


编译、安装 

Shell代码    收藏代码
  1. ./configure --prefix=/usr && make && make install   


这里一定要注意指定--prefix,后面配置memcached的时候就有必要用到。 
2.Memcached 
解压 

Shell代码    收藏代码
  1. tar zxvf memcached-1.4.13.tar.gz  


编译、安装 

Shell代码    收藏代码
  1. ./configure --with-libevent=/usr/lib && make && make install  


这里一定要指定libevent的路径,否则启动的时候就有找不到libevent的so文件的错误! 
启动 

Shell代码    收藏代码
  1. memcached -d -m 512 -p 11211 -u root -c 256 -P /var/run/memcached.pid  


参数 

引用

-p <num>      TCP port number to listen on (default: 11211) 
-U <num>      UDP port number to listen on (default: 11211, 0 is off) 
-l <addr>     interface to listen on (default: INADDR_ANY, all addresses) 
              <addr> may be specified as host:port. If you don't specify 
              a port number, the value you specified with -p or -U is 
              used. You may specify multiple addresses separated by comma 
              or by using -l multiple times 
-d            run as a daemon 
-u <username> assume identity of <username> (only when run as root) 
-m <num>      max memory to use for items in megabytes (default: 64 MB) 
-M            return error on memory exhausted (rather than removing items) 
-c <num>      max simultaneous connections (default: 1024) 
-v            verbose (print errors/warnings while in event loop) 
-P <file>     save PID in <file>, only used with -d option 


要关掉memcached 

Shell代码    收藏代码
  1. kill -9 `cat /var/run/memcached.pid`    


是否正常?Telnet上去看看 

Shell代码    收藏代码
  1. telnet xxx.xxx.xxx.xxx 11211  


然后输入

Shell代码    收藏代码
  1. stats  


接着就能看到: 

引用

STAT pid 3021 
STAT uptime 3621 
STAT time 1331261509 
STAT version 1.4.13 
STAT libevent 2.0.17-stable 
STAT pointer_size 64 
STAT rusage_user 0.000000 
STAT rusage_system 0.000999 
STAT curr_connections 6 
STAT total_connections 7 
STAT connection_structures 7 
STAT reserved_fds 20 
STAT cmd_get 0 
STAT cmd_set 0 
STAT cmd_flush 0 
STAT cmd_touch 0 
STAT get_hits 0 
STAT get_misses 0 
STAT delete_misses 0 
STAT delete_hits 0 
STAT incr_misses 0 
STAT incr_hits 0 
STAT decr_misses 0 
STAT decr_hits 0 
STAT cas_misses 0 
STAT cas_hits 0 
STAT cas_badval 0 
STAT touch_hits 0 
STAT touch_misses 0 
STAT auth_cmds 0 
STAT auth_errors 0 
STAT bytes_read 72 
STAT bytes_written 1038 
STAT limit_maxbytes 52428800 
STAT accepting_conns 1 
STAT listen_disabled_num 0 
STAT threads 4 
STAT conn_yields 0 
STAT hash_power_level 16 
STAT hash_bytes 524288 
STAT hash_is_expanding 0 
STAT expired_unfetched 0 
STAT evicted_unfetched 0 
STAT bytes 0 
STAT curr_items 0 
STAT total_items 0 
STAT evictions 0 
STAT reclaimed 0 
END 


上面状况说明Memcached服务正常。 
还可以试试get、set、delete、replace 

引用
set foo 0 0 3     (保存命令) 
bar               (数据) 
STORED            (结果) 
get foo           (取得命令) 
VALUE foo 0 3     (数据) 
bar               (数据)



输入

Shell代码    收藏代码
  1. quit  

退出。 

三、系统服务 
参照Nginx的系统服务,自己写了一个Memcached的系统服务脚本。 
先构建/etc/init.d/memcahed这个文件,然后赋予其可执行权限: 

Shell代码    收藏代码
  1. touch /etc/init.d/memcached  
  2. chmod +x /etc/init.d/memcached  


memcached脚本如下: 

Shell代码    收藏代码
  1. #!/bin/bash  
  2. # v.0.0.1  
  3. # create by snowolf at 2012.5.25  
  4. #  
  5. # memcached  - This shell script takes care of starting and stopping memcached.  
  6. #  
  7. # chkconfig: - 90 10  
  8. # description: Memcache provides fast memory based storage.  
  9. # processname: memcached  
  10.   
  11. memcached_path="/usr/local/bin/memcached"  
  12. memcached_pid="/var/run/memcached.pid"  
  13. memcached_memory="1024"  
  14.   
  15. # Source function library.  
  16. . /etc/rc.d/init.d/functions  
  17.   
  18. [ -x $memcached_path ] || exit 0  
  19.   
  20. RETVAL=0  
  21. prog="memcached"  
  22.   
  23. # Start daemons.  
  24. start() {  
  25.     if [ -e $memcached_pid -a ! -z $memcached_pid ];then  
  26.         echo $prog" already running...."  
  27.         exit 1  
  28.     fi  
  29.   
  30.     echo -n $"Starting $prog "  
  31.     # Single instance for all caches  
  32.     $memcached_path -m $memcached_memory -l 0.0.0.0 -p 11211 -u root -d -P $memcached_pid  
  33.     RETVAL=$?  
  34.     [ $RETVAL -eq 0 ] && {  
  35.         touch /var/lock/subsys/$prog  
  36.         success $"$prog"  
  37.     }  
  38.     echo  
  39.     return $RETVAL  
  40. }  
  41.   
  42.   
  43. # Stop daemons.  
  44. stop() {  
  45.     echo -n $"Stopping $prog "  
  46.     killproc -d 10 $memcached_path  
  47.     echo  
  48.     [ $RETVAL = 0 ] && rm -f $memcached_pid /var/lock/subsys/$prog  
  49.   
  50.     RETVAL=$?  
  51.     return $RETVAL  
  52. }  
  53.   
  54. # See how we were called.  
  55. case "$1" in  
  56.         start)  
  57.             start  
  58.             ;;  
  59.         stop)  
  60.             stop  
  61.             ;;  
  62.         status)  
  63.             status $prog  
  64.             RETVAL=$?  
  65.             ;;  
  66.         restart)  
  67.             stop  
  68.             start  
  69.             ;;  
  70.         *)  
  71.             echo $"Usage: $0 {start|stop|status|restart}"  
  72.             exit 1  
  73. esac  
  74. exit $RETVAL  


注意这几行配置,请根据实际情况配置memcached执行文件路径,以及Memcached使用内存大小: 

引用
memcached_path="/usr/local/bin/memcached" 
memcached_memory="1024"



追加为系统服务: 

Shell代码    收藏代码
  1. chkconfig --add memcached  
  2. chkconfig memcached on  



然后就可以通过service memcached start|stop|status|restart控制memcached了! 

四、常规错误 
一开始没有指定libevent路径安装memcached的时候,启动memcached就报这个错误: 

引用
memcached: error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or directory 


其实这个文件就在/usr/lib下。错就错在Linux是64bit系统,如果没有指定libevent路径,memcached就会去/usr/lib64下去找。 
找到这个文件 

Shell代码    收藏代码
  1. whereis libevent-2.0.so.5  
引用
libevent-2.0.so: /usr/lib/libevent-2.0.so.5
Shell代码    收藏代码
  1. ldd /usr/local/bin/memcached  


提示找不到libevent-2.0.so.5 

引用
        linux-vdso.so.1 =>  (0x00007fff41dfd000) 
        libevent-2.0.so.5 => not found 
        librt.so.1 => /lib64/librt.so.1 (0x0000003c94a00000) 
        libpthread.so.0 => /lib64/libpthread.so.0 (0x0000003c93a00000) 
        libc.so.6 => /lib64/libc.so.6 (0x0000003c92e00000) 
        /lib64/ld-linux-x86-64.so.2 (0x0000003c92a00000)


定位 

Shell代码    收藏代码
  1. LD_DEBUG=libs /usr/local/bin/memcached -v  
引用
     19905:     find library=libevent-2.0.so.5 [0]; searching 
     19905:      search path=/usr/lib/lib/tls/x86_64:/usr/lib/lib/tls:/usr/lib/lib/x86_64:/usr/lib/lib          (RPATH from file /usr/local/bin/memcached) 
     19905:       trying file=/usr/lib/lib/tls/x86_64/libevent-2.0.so.5 
     19905:       trying file=/usr/lib/lib/tls/libevent-2.0.so.5 
     19905:       trying file=/usr/lib/lib/x86_64/libevent-2.0.so.5 
     19905:       trying file=/usr/lib/lib/libevent-2.0.so.5 
     19905:      search cache=/etc/ld.so.cache 
     19905:      search path=/lib64/tls/x86_64:/lib64/tls:/lib64/x86_64:/lib64:/usr/lib64/tls/x86_64:/usr/lib64/tls:/usr/lib64/x86_64:/usr/lib64            (system search path) 
     19905:       trying file=/lib64/tls/x86_64/libevent-2.0.so.5 
     19905:       trying file=/lib64/tls/libevent-2.0.so.5 
     19905:       trying file=/lib64/x86_64/libevent-2.0.so.5 
     19905:       trying file=/lib64/libevent-2.0.so.5 
     19905:       trying file=/usr/lib64/tls/x86_64/libevent-2.0.so.5 
     19905:       trying file=/usr/lib64/tls/libevent-2.0.so.5 
     19905:       trying file=/usr/lib64/x86_64/libevent-2.0.so.5 
     19905:       trying file=/usr/lib64/libevent-2.0.so.5 
     19905: 
/usr/local/bin/memcached: error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or directory 


注意这句: 

引用
19905: trying file=/usr/lib64/libevent-2.0.so.5



做个软连接 

Shell代码    收藏代码
  1. ln -s /usr/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5  


再试试: 

Shell代码    收藏代码
  1. ldd /usr/local/bin/memcached  


这回找到了! 

引用
        linux-vdso.so.1 =>  (0x00007fffffef6000) 
        libevent-2.0.so.5 => /usr/lib64/libevent-2.0.so.5 (0x00002b5608a26000) 
        librt.so.1 => /lib64/librt.so.1 (0x0000003c94a00000) 
        libpthread.so.0 => /lib64/libpthread.so.0 (0x0000003c93a00000) 
        libc.so.6 => /lib64/libc.so.6 (0x0000003c92e00000) 
        /lib64/ld-linux-x86-64.so.2 (0x0000003c92a00000)



五、监控 
可以在服务器上配置一个PHP页面来监测Memcached的情况, 
配置也比较简单,主要包括账户配置,以及Memcached Server地址配置。 

Php代码    收藏代码
  1. define('ADMIN_USERNAME','memcache');    // Admin Username  
  2. define('ADMIN_PASSWORD','password');    // Admin Password  
  3. define('DATE_FORMAT','Y/m/d H:i:s');  
  4. define('GRAPH_SIZE',200);  
  5. define('MAX_ITEM_DUMP',50);  
  6.   
  7. $MEMCACHE_SERVERS[] = 'mymemcache-server1:11211'// add more as an array  
  8. $MEMCACHE_SERVERS[] = 'mymemcache-server2:11211'// add more as an array  


如果不方便搭建PHP服务,可以使用Perl脚本memcache-top 
修改@default_instances或使用--instances参数: 

Shell代码    收藏代码
  1. perl memcache-top-v0.6 --instances 10.11.155.26 10.11.155.41  



 

Memcached笔记——(二)XMemcached&Spring集成 

一、Memcached Client简要介绍 
Memcached Client目前有3种: 


这三种Client一直存在各种争议: 

  • Memcached Client for Java 比 SpyMemcached更稳定、更早、更广泛;
  • SpyMemcached 比 Memcached Client for Java更高效;
  • XMemcached 比 SpyMemcache并发效果更好。



用数据来说话,参考官方性能对比: 
Memcached Client for Java:https://github.com/gwhalin/Memcached-Java-Client/wiki/PERFORMANCE 
XMemcached:http://xmemcached.googlecode.com/svn/trunk/benchmark/benchmark.html 

二、XMemcached特性 
XMemcached特性: 

  • 高性能
  • 支持完整的memcached文本协议,二进制协议。
  • 支持JMX,可以通过MBean调整性能参数、动态添加/移除server、查看统计等。
  • 支持客户端统计
  • 支持memcached节点的动态增减。
  • 支持memcached分布:余数分布和一致性哈希分布。
  • 更多的性能调整选项。


此外,XMemcached更容易与Spring集成。而且,属于中国原创!  

三、XMemcached简单实现 

MemcachedClientBuilder是MemcachedClient核心接口,用来控制Client的构建(build()方法)和关闭(shutdown()方法)。 
XMemcachedClientBuilder一般通过构造方法配置地址列表,通常还要配置权重,代码如下: 

Java代码    收藏代码
  1. public XMemcachedClientBuilder(List<InetSocketAddress> addressList) {  
  2.     if (addressList != null) {  
  3.         for (InetSocketAddress addr : addressList) {  
  4.             this.addressMap.put(addr, null);  
  5.         }  
  6.     }  
  7. }  
  8.   
  9. public XMemcachedClientBuilder(List<InetSocketAddress> addressList,  
  10.         int[] weights) {  
  11.     if (addressList != null) {  
  12.         for (InetSocketAddress addr : addressList) {  
  13.             this.addressMap.put(addr, null);  
  14.         }  
  15.     }  
  16.     this.weights = weights;  
  17. }  


不过这哥们如果用this()可以省点代码, 还有给加点注释吧! 
此外,还需要设置连接池大小,使用二进制协议/文本协议等。 
通过build()方法获得MemcachedClient 
然后就可以通过Memcached进行set、get、replace、delete等Memcached操作了! 
上代码: 

Java代码    收藏代码
  1. import static junit.framework.Assert.*;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.concurrent.TimeoutException;  
  5.   
  6. import net.rubyeye.xmemcached.MemcachedClient;  
  7. import net.rubyeye.xmemcached.MemcachedClientBuilder;  
  8. import net.rubyeye.xmemcached.XMemcachedClientBuilder;  
  9. import net.rubyeye.xmemcached.command.BinaryCommandFactory;  
  10. import net.rubyeye.xmemcached.exception.MemcachedException;  
  11. import net.rubyeye.xmemcached.utils.AddrUtil;  
  12.   
  13. import org.junit.Test;  
  14.   
  15. public class MemcachedClientTest {  
  16.     @Test  
  17.     public void test() {  
  18.         MemcachedClientBuilder builder = new XMemcachedClientBuilder(  
  19.                 AddrUtil.getAddresses("10.11.155.26:11211 10.11.155.41:11211 10.10.76.31:11211 10.10.76.35:11211"),  
  20.                 new int[] { 1111 });  
  21.           
  22.         // 设置连接池大小,即客户端个数  
  23.         builder.setConnectionPoolSize(50);  
  24.   
  25.         // 宕机报警  
  26.         builder.setFailureMode(true);  
  27.   
  28.         // 使用二进制文件  
  29.         builder.setCommandFactory(new BinaryCommandFactory());  
  30.   
  31.         MemcachedClient memcachedClient = null;  
  32.         try {  
  33.             memcachedClient = builder.build();  
  34.             try {  
  35.                 // 设置/获取  
  36.                 memcachedClient.set("zlex"36000"set/get");  
  37.                 assertEquals("set/get", memcachedClient.get("zlex"));  
  38.   
  39.                 // 替换  
  40.                 memcachedClient.replace("zlex"36000"replace");  
  41.                 assertEquals("replace", memcachedClient.get("zlex"));  
  42.   
  43.                 // 移除  
  44.                 memcachedClient.delete("zlex");  
  45.                 assertNull(memcachedClient.get("zlex"));  
  46.             } catch (TimeoutException e) {  
  47.                 // TODO Auto-generated catch block  
  48.                 e.printStackTrace();  
  49.             } catch (InterruptedException e) {  
  50.                 // TODO Auto-generated catch block  
  51.                 e.printStackTrace();  
  52.             } catch (MemcachedException e) {  
  53.                 // TODO Auto-generated catch block  
  54.                 e.printStackTrace();  
  55.             }  
  56.   
  57.         } catch (IOException e) {  
  58.             // TODO Auto-generated catch block  
  59.             e.printStackTrace();  
  60.         } finally {  
  61.             if (memcachedClient != null) {  
  62.                 try {  
  63.                     memcachedClient.shutdown();  
  64.                 } catch (IOException e) {  
  65.                     // TODO Auto-generated catch block  
  66.                     e.printStackTrace();  
  67.                 }  
  68.             }  
  69.         }  
  70.     }  
  71. }  


四、XMemcached与Spring集成 
XMemcached与Spring集成可以参考http://code.google.com/p/xmemcached/wiki/Spring_Integration,这里只说最常用的方法。 
memcached.properties做基本配置: 

Properties代码    收藏代码
  1. #连接池大小即客户端个数  
  2. memcached.connectionPoolSize=50  
  3. memcached.failureMode=true  
  4. #server1  
  5. memcached.server1.host=10.11.155.26  
  6. memcached.server1.port=11211  
  7. memcached.server1.weight=4  
  8. #server2  
  9. memcached.server2.host=10.11.155.41  
  10. memcached.server2.port=11211  
  11. memcached.server2.weight=3                
  12. #server3  
  13. memcached.server3.host=10.10.76.31  
  14. memcached.server3.port=11211  
  15. memcached.server3.weight=2                    
  16. #server4  
  17. memcached.server4.host=10.10.76.35  
  18. memcached.server4.port=11211  
  19. memcached.server4.weight=1         
  20.        


XML配置文件: 

Xml代码    收藏代码
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <beans  
  3.     xmlns="http://www.springframework.org/schema/beans"  
  4.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
  5.     xmlns:context="http://www.springframework.org/schema/context"  
  6.     xmlns:p="http://www.springframework.org/schema/p"  
  7.     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd  
  8.         http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">  
  9.     <!-- http://code.google.com/p/xmemcached/wiki/Spring_Integration -->  
  10.     <context:property-placeholder location="memcached.properties" />  
  11.     <bean  
  12.         id="memcachedClientBuilder"  
  13.         class="net.rubyeye.xmemcached.XMemcachedClientBuilder"  
  14.         p:connectionPoolSize="${memcached.connectionPoolSize}"  
  15.         p:failureMode="${memcached.failureMode}">  
  16.         <!-- XMemcachedClientBuilder have two arguments.First is server list,and   
  17.             second is weights array. -->  
  18.         <constructor-arg>  
  19.             <list>  
  20.                 <bean class="java.net.InetSocketAddress">  
  21.                     <constructor-arg>  
  22.                         <value>${memcached.server1.host}</value>  
  23.                     </constructor-arg>  
  24.                     <constructor-arg>  
  25.                         <value>${memcached.server1.port}</value>  
  26.                     </constructor-arg>  
  27.                 </bean>  
  28.                 <bean class="java.net.InetSocketAddress">  
  29.                     <constructor-arg>  
  30.                         <value>${memcached.server2.host}</value>  
  31.                     </constructor-arg>  
  32.                     <constructor-arg>  
  33.                         <value>${memcached.server2.port}</value>  
  34.                     </constructor-arg>  
  35.                 </bean>  
  36.                 <bean class="java.net.InetSocketAddress">  
  37.                     <constructor-arg>  
  38.                         <value>${memcached.server3.host}</value>  
  39.                     </constructor-arg>  
  40.                     <constructor-arg>  
  41.                         <value>${memcached.server3.port}</value>  
  42.                     </constructor-arg>  
  43.                 </bean>  
  44.                 <bean class="java.net.InetSocketAddress">  
  45.                     <constructor-arg>  
  46.                         <value>${memcached.server4.host}</value>  
  47.                     </constructor-arg>  
  48.                     <constructor-arg>  
  49.                         <value>${memcached.server4.port}</value>  
  50.                     </constructor-arg>  
  51.                 </bean>  
  52.             </list>  
  53.         </constructor-arg>  
  54.         <constructor-arg>  
  55.             <list>  
  56.                 <value>${memcached.server1.weight}</value>  
  57.                 <value>${memcached.server2.weight}</value>  
  58.                 <value>${memcached.server3.weight}</value>  
  59.                 <value>${memcached.server4.weight}</value>  
  60.             </list>  
  61.         </constructor-arg>  
  62.         <property name="commandFactory">  
  63.             <bean class="net.rubyeye.xmemcached.command.TextCommandFactory" />  
  64.         </property>  
  65.         <property name="sessionLocator">  
  66.             <bean class="net.rubyeye.xmemcached.impl.KetamaMemcachedSessionLocator" />  
  67.         </property>  
  68.         <property name="transcoder">  
  69.             <bean class="net.rubyeye.xmemcached.transcoders.SerializingTranscoder" />  
  70.         </property>  
  71.     </bean>  
  72.     <!-- Use factory bean to build memcached client -->  
  73.     <bean  
  74.         id="memcachedClient"  
  75.         factory-bean="memcachedClientBuilder"  
  76.         factory-method="build"  
  77.         destroy-method="shutdown" />  
  78. </beans>  



这里的memcachedClientBuilder节点完成MemcachedClientBuilder,然后通过memcachedClient节点配置factory-method,调用MemcachedClientBuilder的build()方法产生MemcachedClient,并配置destroy-method进行关闭。 
不过我还是疑惑,这里的异常由谁来处理?Spring容器吗? 或者需要另一个代理Bean包装一下? 

有了Spring容器支持,我们不需要在代码中进行配置,也不需要重复调用build()跟shutdown()方法,这些操作交给Spring来完成。 
代码如下: 

Java代码    收藏代码
  1. import static junit.framework.Assert.*;  
  2.   
  3. import java.util.concurrent.TimeoutException;  
  4.   
  5. import net.rubyeye.xmemcached.MemcachedClient;  
  6. import net.rubyeye.xmemcached.exception.MemcachedException;  
  7.   
  8. import org.junit.Before;  
  9. import org.junit.Test;  
  10. import org.springframework.context.ApplicationContext;  
  11. import org.springframework.context.support.ClassPathXmlApplicationContext;  
  12.   
  13. public class MemcachedSpringTest {  
  14.   
  15.     private ApplicationContext app;  
  16.     private MemcachedClient memcachedClient;  
  17.   
  18.     @Before  
  19.     public void init() {  
  20.         app = new ClassPathXmlApplicationContext("applicationContext.xml");  
  21.         memcachedClient = (MemcachedClient) app.getBean("memcachedClient");  
  22.     }  
  23.   
  24.     @Test  
  25.     public void test() {  
  26.         try {  
  27.             // 设置/获取  
  28.             memcachedClient.set("zlex"36000"set/get");  
  29.             assertEquals("set/get", memcachedClient.get("zlex"));  
  30.   
  31.             // 替换  
  32.             memcachedClient.replace("zlex"36000"replace");  
  33.             assertEquals("replace", memcachedClient.get("zlex"));  
  34.   
  35.             // 移除  
  36.             memcachedClient.delete("zlex");  
  37.             assertNull(memcachedClient.get("zlex"));  
  38.         } catch (TimeoutException e) {  
  39.             // TODO Auto-generated catch block  
  40.             e.printStackTrace();  
  41.         } catch (InterruptedException e) {  
  42.             // TODO Auto-generated catch block  
  43.             e.printStackTrace();  
  44.         } catch (MemcachedException e) {  
  45.             // TODO Auto-generated catch block  
  46.             e.printStackTrace();  
  47.         }  
  48.     }  
  49. }  

猜你喜欢

转载自lililucky1211.iteye.com/blog/1844460