Memcached

2024年1月27日 165次阅读来源: memcached

[转载]访问地址：http://www.cnblogs.com/milo_yu/archive/2010/11/08/1871556.html

1.Memcache是什么

Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。

它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。

Memcache官方网站：http://www.danga.com/memcached，更多详细的信息可以来这里了解

2.为什么会有Memcache和memcached两种名称？

其实Memcache是这个项目的名称，而memcached是它服务器端的主程序文件名。

3. Memcache的使用

使用Memcache的网站一般流量都是比较大的，为了缓解数据库的压力，让Memcache作为一个缓存区域，把部分信息保存在内存中，在前端能够迅速的进行存取。那么一般的焦点就是集中在如何分担数据库压力和进行分布式，毕竟单台Memcache的内存容量的有限的。我这里简单提出我的个人看法，未经实践，权当参考。

分布式应用

Memcache本来支持分布式，我们客户端稍加改造，更好的支持。我们的key可以适当进行有规律的封装，比如以user为主的网站来说，每个用户都有User ID，那么可以按照固定的ID来进行提取和存取，比如1开头的用户保存在第一台Memcache服务器上，以2开头的用户的数据保存在第二胎Mecache服务器上，存取数据都先按照User ID来进行相应的转换和存取。

但是这个有缺点，就是需要对User ID进行判断，如果业务不一致，或者其他类型的应用，可能不是那么合适，那么可以根据自己的实际业务来进行考虑，或者去想更合适的方法。

减少数据库压力

这个算是比较重要的，所有的数据基本上都是保存在数据库当中的，每次频繁的存取数据库，导致数据库性能极具下降，无法同时服务更多的用户，比如MySQL，特别频繁的锁表，那么让Memcache来分担数据库的压力吧。我们需要一种改动比较小，并且能够不会大规模改变前端的方式来进行改变目前的架构。

我考虑的一种简单方法：

后端的数据库操作模块，把所有的Select操作提取出来（update/delete/insert不管），然后把对应的SQL进行相应的hash算法计算得出一个hash数据key（比如MD5或者SHA），然后把这个key去Memcache中查找数据，如果这个数据不存在，说明还没写入到缓存中，那么从数据库把数据提取出来，一个是数组类格式，然后把数据在set到Memcache中，key就是这个SQL的hash值，然后相应的设置一个失效时间，比如一个小时，那么一个小时中的数据都是从缓存中提取的，有效减少数据库的压力。缺点是数据不实时，当数据做了修改以后，无法实时到前端显示，并且还有可能对内存占用比较大，毕竟每次select出来的数据数量可能比较巨大，这个是需要考虑的因素。

Memcache的安全

我们上面的Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，我做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。

内网访问

最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。

# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid

Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接

设置防火墙

防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。

一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。

# iptables -F

# iptables -P INPUT DROP

# iptables -A INPUT -p tcp -s 192.168.0.2 –dport 11211 -j ACCEPT

# iptables -A INPUT -p udp -s 192.168.0.2 –dport 11211 -j ACCEPT

上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。

Memcached的使用

一 Memcached服务器端的安装（此处将其作为系统服务安装）

下载文件：memcached 1.2.1 for Win32 binaries (Dec 23, 2006)

1 解压缩文件到c:memcached

2 命令行输入 ‘c:memcachedmemcached.exe -d install’

3 命令行输入 ‘c:memcachedmemcached.exe -d start’ ，该命令启动 Memcached ，默认监听端口为 11211

通过 memcached.exe -h 可以查看其帮助

二 .NET memcached client library

下载文件：https://sourceforge.net/projects/memcacheddotnet/

里面有.net1.1 和 .net2.0的两种版本还有一个不错的例子。

三应用

1 将Commons.dll，ICSharpCode.SharpZipLib.dll，log4net.dll，Memcached.ClientLibrary.dll 等放到bin目录

2 引用Memcached.ClientLibrary.dll

3 代码

后记：是个不错的东西，使用起来也很方便，php ,ruby 的项目中用这个的很多，但是.net项目中用的较少（恕俺孤陋寡闻）。希望有兴趣的朋友们多多交流。

1 namespace Memcached.MemcachedBench

2 {

3 using System;

4 using System.Collections;

6 using Memcached.ClientLibrary;

8 public class MemcachedBench

9 {

10 [STAThread]

11 public static void Main(String[] args)

12 {

13 string[] serverlist = { “10.0.0.131:11211”, “10.0.0.132:11211” };

15 //初始化池

16 SockIOPool pool = SockIOPool.GetInstance();

17 pool.SetServers(serverlist);

19 pool.InitConnections = 3;

20 pool.MinConnections = 3;

21 pool.MaxConnections = 5;

23 pool.SocketConnectTimeout = 1000;

24 pool.SocketTimeout = 3000;

26 pool.MaintenanceSleep = 30;

27 pool.Failover = true;

29 pool.Nagle = false;

30 pool.Initialize();

32 // 获得客户端实例

33 MemcachedClient mc = new MemcachedClient();

34 mc.EnableCompression = false;

36 Console.WriteLine(“————测试———–“);

37 mc.Set(“test”, “my value”); //存储数据到缓存服务器，这里将字符串”my value”缓存，key 是”test”

39 if (mc.KeyExists(“test”)) //测试缓存存在key为test的项目

40 {

41 Console.WriteLine(“test is Exists”);

42 Console.WriteLine(mc.Get(“test”).ToString()); //在缓存中获取key为test的项目

43 }

44 else

45 {

46 Console.WriteLine(“test not Exists”);

47 }

49 Console.ReadLine();

51 mc.Delete(“test”); //移除缓存中key为test的项目

53 if (mc.KeyExists(“test”))

54 {

55 Console.WriteLine(“test is Exists”);

56 Console.WriteLine(mc.Get(“test”).ToString());

57 }

58 else

59 {

60 Console.WriteLine(“test not Exists”);

61 }

62 Console.ReadLine();

64 SockIOPool.GetInstance().Shutdown(); //关闭池，关闭sockets

65 }

66 }

67 }

以上内容都是收集整理的。

在给个使用案例，还没有实践过，呵呵，先转发一下。

在ASP.NET中使用Memcached，有很多文章都有介绍，以下是我个人的使用经验。

一，准备

你需要有一下软件：

VS.NET(05/08)

SQLSERVER

memcached服务器端以及客户端类库（开源软件，下载即可）

其中，客户端类库包括以下几个DLL：

Memcached.ClientLibrary.dll

ICSharpCode.SharpZipLib.dll

log4net.dll

二，安装memcached服务器端

将memcached.exe复制到任意目录下，如 c：，在命令行输入：

memcached.exe -d install

memcached将作为一个服务常驻系统内存了

三，建立ASP.NET工程

创建一个ASP.NETWEB项目，命名为MMCWEB，添加以上提到的几个客户端类库的引用。

四，配置

memcached使用了log4net，所以我们先配置log4net

在web.config里找到configSections节点，添加以下内容

再在configSections节点之外，增加以下内容：

</layout>

</appender>

</layout>

</appender>

<root>

<appender-ref ref=”RollingLogFileAppender” />

<appender-ref ref=”ConsoleAppender” />

</root>

</logger>

</log4net>

启动调试，若没出现配置的出错提示，并且在网站目录下有文件夹LogFiles，就说明log4net配置成功了。

五，初始化SockIOPool

SockIOPool是什么东东？SockIOPool是Memcached客户端提供的一个套接字连接池，通俗讲，就是与Memcached服务器端交换数据的对象。SockIOPool在应用程序启动时初始化一次就可以了，我把这个工作放在 GLOBAL.ASAX.CS的Application_Start方法里

char[] separator = { ‘,’ };

string[] serverlist = ConfigurationManager.AppSettings[“Memcached.ServerList”].Split(separator);

// initialize the pool for memcache servers

try

{

SockIOPool pool = SockIOPool.GetInstance();

pool.SetServers(serverlist);

pool.InitConnections = 3;

pool.MinConnections = 3;

pool.MaxConnections = 50;

pool.SocketConnectTimeout = 1000;

pool.SocketTimeout = 3000;

pool.MaintenanceSleep = 30;

pool.Failover = true;

pool.Nagle = false;

pool.Initialize();

}

catch (Exception err)

{

//这里就可以用Log4Net记录Error啦！

}

注意AppSettings[“Memcached.ServerList”]是在WEB.CONFIG里设置的，所以WEB.CONFIG的appSettings的子节点里需要有以下一行

启动调试服务器，若没有出错的日志记录，说明IO连接池已经开辟成功。

六，使用Memcached

终于进入正题了，不过使用之前，我们还需要准备一些数据。

创建一个实体类People，并加上Serializable属性！！！

对应的数据库里，增加一张表，字段对应实体类，插入一些测试数据。持久层和业务层的设计就略过了，他们负责向提供一些数据，返回类型可自定，若ILIST,DATASET。

Memcached使用起来就很简单了，比如后台检索出一组People类型的数据，放在一个叫peopleList的arraylist里，而且这个arraylist要频繁使用，只需要这样

MemcachedClient mc = new MemcachedClient();

mc.EnableCompression = true;

mc.Set(key, peopleList);

上面的key是用来访问这个arraylist的键，Memcached里的数据都是保存为键-值对的。

一旦mc.KeyExists(key)为TRUE，就用return mc.Get(key) as ArrayList提取数据，删除时，使用 return mc.Delete(key);等等。可以自己琢磨了。

    原文作者：memcached
    原文地址: https://www.cnblogs.com/haiyang1985/p/3584720.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。