登录
当前位置： 首页 > 工具软件 > MySQL memcached UDFs > 使用案例 >

mysql db trigger memcache_通过MySQL的UDFs和Trigger操作Memcached

上官和惬
2023-12-01

通过MySQL的UDFs和Trigger操作Memcached

UDFs是User Defined Functions的缩写，表示MySQL的用户定义函数，应用程序可以利用这些函数从MySQL 5.0以上版本的数据库中访问Memcached写入或者获取的数据。此外，MySQL从5.1版本开始支持触发器，从而可以在触发器中使用UDFs直接更新Memcached的内容，这种方式降低了应用程序设计和编写的复杂性。下面简单介绍UDFs的安装和使用。

UDFs安装

安装UDFs，需要依次安装MySQL、libevent、memcached、libmemcached、memcached_functions_sql。

1. 安装mysql-5.6.24.tar.gz

2. 安装libevent-2.0.22-stable.tar.gz和安装memcached-1.4.22.tar.gz

3. 安装libmemcached-0.34.tar.gz

memcached functions for mysql官网发布的1.1版本是09年的，只兼容libmemcached0.34版本。mkdir -p /usr/local/libmemcached

wget https://launchpad.net/libmemcached/1.0/0.34/+download/libmemcached-0.34.tar.gz

tar zxvf libmemcached-0.34.tar.gz

cd libmemcached-0.34

./configure --prefix=/usr/local/libmemcached --with-memcached=/usr/local/bin/memcached

make

make install

4. 安装memcached_functions_mysqlwget https://launchpad.net/memcached-udfs/trunk/1.1/+download/memcached_functions_mysql-1.1.tar.gz

tar xvf memcached_functions_mysql-1.1.tar.gz

cd memcached_functions_mysql-1.1

./configure --prefix=/usr/local/memcache_mysql --with-mysql=/usr/local/mysql/bin/mysql_config --with-libmemcached=/usr/local/libmemcached

make

make install

5. 拷贝lib文件到mysql的plugin下面cp /usr/local/memcache_mysql/lib/libmemcached_functions* /usr/local/mysql/lib/plugin

6. 配置动态链接库echo "/usr/local/lib" >> /etc/ld.so.conf

ldconfig

7. 添加memcache UDF 函数mysql 

备注：

首次需要使用CREATE FUNCTION来初始化用户定义函数。有两种方法可以初始化所有MySQL提供的用户定义函数：

第一种方法是在MySQL的SQL命令行中执行memcached_functions_mysql源码目录下的sql/install_functions.sql。第二种方法是运行memcached_functions_mysql源码目录下的utils/install.pl这个Perl脚本，把memcache function作为UDFs加入MySQL。

8. 执行下面SQL命令，查看安装是否成功。mysql> select name,dl from mysql.func;

+------------------------------+---------------------------------+

| name | dl |

+------------------------------+---------------------------------+

| memc_add | libmemcached_functions_mysql.so |

| memc_add_by_key | libmemcached_functions_mysql.so |

| memc_servers_set | libmemcached_functions_mysql.so |

| memc_server_count | libmemcached_functions_mysql.so |

| memc_set | libmemcached_functions_mysql.so |

| memc_set_by_key | libmemcached_functions_mysql.so |

| memc_cas | libmemcached_functions_mysql.so |

| memc_cas_by_key | libmemcached_functions_mysql.so |

| memc_get | libmemcached_functions_mysql.so |

| memc_get_by_key | libmemcached_functions_mysql.so |

| memc_get_cas | libmemcached_functions_mysql.so |

| memc_get_cas_by_key | libmemcached_functions_mysql.so |

| memc_delete | libmemcached_functions_mysql.so |

| memc_delete_by_key | libmemcached_functions_mysql.so |

| memc_append | libmemcached_functions_mysql.so |

| memc_append_by_key | libmemcached_functions_mysql.so |

| memc_prepend | libmemcached_functions_mysql.so |

| memc_prepend_by_key | libmemcached_functions_mysql.so |

| memc_increment | libmemcached_functions_mysql.so |

| memc_decrement | libmemcached_functions_mysql.so |

| memc_replace | libmemcached_functions_mysql.so |

| memc_replace_by_key | libmemcached_functions_mysql.so |

| memc_servers_behavior_set | libmemcached_functions_mysql.so |

| memc_servers_behavior_get | libmemcached_functions_mysql.so |

| memc_behavior_set | libmemcached_functions_mysql.so |

| memc_behavior_get | libmemcached_functions_mysql.so |

| memc_list_behaviors | libmemcached_functions_mysql.so |

| memc_list_hash_types | libmemcached_functions_mysql.so |

| memc_list_distribution_types | libmemcached_functions_mysql.so |

| memc_udf_version | libmemcached_functions_mysql.so |

| memc_libmemcached_version | libmemcached_functions_mysql.so |

| memc_stats | libmemcached_functions_mysql.so |

| memc_stat_get_keys | libmemcached_functions_mysql.so |

| memc_stat_get_value | libmemcached_functions_mysql.so |

+------------------------------+---------------------------------+

34 rows in set (0.00 sec)

使用Trigger操作Memcached

1. 创建两张表

新建两张表：urls和results，更新urls表中的内容，使系统自动更新Memcached的内容。results用来记录更新Memcached失败的记录。

SQL代码如下：use test;

drop table if exists urls;

CREATE TABLE `urls` (

`id` int(10) NOT NULL,

`url` varchar(255) NOT NULL DEFAULT '',

PRIMARY KEY (`id`)

);

drop table if exists results;

CREATE TABLE `results` (

`id` int(10) NOT NULL,

`result` varchar(255) NOT NULL DEFAULT 'error',

`time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,

PRIMARY KEY (`id`)

);

2. 建立3个trigger

当向urls表中插入数据时，对Memcached执行set操作。trigger的代码如下：DELIMITER //

DROP TRIGGER IF EXISTS url_mem_insert;

CREATE TRIGGER url_mem_insert

BEFORE INSERT ON urls

FOR EACH ROW BEGIN

set @mm = memc_set(NEW.id, NEW.url);

if @mm <> 0 then

insert into results(id) values(NEW.id);

end if;

END //

DELIMITER ;

当对urls表中的数据进行更新时，对Memcached执行replace操作。trigger代码如下：DELIMITER //

DROP TRIGGER IF EXISTS url_mem_update;

CREATE TRIGGER url_mem_update

BEFORE UPDATE ON urls

FOR EACH ROW BEGIN

set @mm = memc_replace(OLD.id,NEW.url);

if @mm <> 0 then

insert into results(id) values(OLD.id);

end if;

END //

DELIMITER ;

当对urls表中的数据进行删除操作时，对Memcached执行delete操作。trigger代码如下：DELIMITER //

DROP TRIGGER IF EXISTS url_mem_delete;

CREATE TRIGGER url_mem_delete

BEFORE DELETE ON urls

FOR EACH ROW BEGIN

set @mm = memc_delete(OLD.ID);

if @mm <> 0 then

insert into results(id) values(OLD.id);

end if;

END //

DELIMITER ;

3. 设置Memcached相关参数

设置UDFs操作Memcaced服务器的IP地址和端口。mysql> SELECT memc_servers_set('192.168.11.52:11211');

+-----------------------------------------+

| memc_servers_set('192.168.11.52:11211') |

+-----------------------------------------+

| 0 |

+-----------------------------------------+

1 row in set (0.07 sec)

mysql>select memc_server_count();

+---------------------+

| memc_server_count() |

+---------------------+

| 1 |

+---------------------+

1 row in set (0.00 sec)

在MySQL命令行中列出可以修改Memcached参数的行为，执行的命令和输出结果如下：mysql>select memc_list_behaviors()\G

*************************** 1. row ***************************

memc_list_behaviors():

MEMCACHED SERVER BEHAVIORS

MEMCACHED_BEHAVIOR_SUPPORT_CAS

MEMCACHED_BEHAVIOR_NO_BLOCK

MEMCACHED_BEHAVIOR_TCP_NODELAY

MEMCACHED_BEHAVIOR_HASH

MEMCACHED_BEHAVIOR_CACHE_LOOKUPS

MEMCACHED_BEHAVIOR_SOCKET_SEND_SIZE

MEMCACHED_BEHAVIOR_SOCKET_RECV_SIZE

MEMCACHED_BEHAVIOR_BUFFER_REQUESTS

MEMCACHED_BEHAVIOR_KETAMA

MEMCACHED_BEHAVIOR_POLL_TIMEOUT

MEMCACHED_BEHAVIOR_RETRY_TIMEOUT

MEMCACHED_BEHAVIOR_DISTRIBUTION

MEMCACHED_BEHAVIOR_BUFFER_REQUESTS

MEMCACHED_BEHAVIOR_USER_DATA

MEMCACHED_BEHAVIOR_SORT_HOSTS

MEMCACHED_BEHAVIOR_VERIFY_KEY

MEMCACHED_BEHAVIOR_CONNECT_TIMEOUT

MEMCACHED_BEHAVIOR_KETAMA_WEIGHTED

MEMCACHED_BEHAVIOR_KETAMA_HASH

MEMCACHED_BEHAVIOR_BINARY_PROTOCOL

MEMCACHED_BEHAVIOR_SND_TIMEOUT

MEMCACHED_BEHAVIOR_RCV_TIMEOUT

MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT

MEMCACHED_BEHAVIOR_IO_MSG_WATERMARK

MEMCACHED_BEHAVIOR_IO_BYTES_WATERMARK

1 row in set (0.00 sec)

设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态，这样在Memcached出现问题(不能连接)时，数据可以继续插入MySQL中，但有报错提示；如果不设置此值，那么Memcached失败时，数据需要等到Memcached失败超时后才可以插入到表中。

通过下面的设置，可以避免这种情况的发生。mysql>select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1');

+--------------------------------------------------------------+

| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1') |

+--------------------------------------------------------------+

| 0 |

+--------------------------------------------------------------+

1 row in set (0.00 sec)

mysql>select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1');

+-----------------------------------------------------------------+

| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1') |

+-----------------------------------------------------------------+

| 0 |

+-----------------------------------------------------------------+

1 row in set (0.00 sec)

4. 对memcached_functions_mysql的简单功能进行测试

1)向表urls中插入数据，然后查看Memcached是否对数据执行set操作。mysql>insert into urls (id,url) values (1, 'http://www.test.com.cn');

Query OK, 1 row affected, 1 warning (0.00 sec)

mysql> select memc_get('1');

+------------------------+

| memc_get('1') |

+------------------------+

| http://www.test.com |

+------------------------+

1 row in set (0.00 sec)1>telnet 192.168.11.52 11211

Trying 192.168.11.52...

Connected to 192.168.11.52 (192.168.11.52).

Escape character is '^]'.

get 1

VALUE 1 0 22

http://www.test.com.cn

END

2)更新表urls里面的数据，然后查询Memcached中是否也进行了更新。mysql>update test.urls set url='http://blog.test.com.cn' where id=1;

Query OK, 1 row affected, 1 warning (0.00 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql> select memc_replace('1','http://blog.test.com.cn');

+---------------------------------------------+

| memc_replace('1','http://blog.test.com.cn') |

+---------------------------------------------+

| 0 |

+---------------------------------------------+

1 row in set (0.00 sec)

mysql> select memc_get('1');

+-------------------------+

| memc_get('1') |

+-------------------------+

| http://blog.test.com.cn |

+-------------------------+

1 row in set (0.00 sec)1>telnet 192.168.11.52 11211

Trying 192.168.11.52...

Connected to 192.168.11.52(192.168.11.52).

Escape character is '^]'.

get 1

VALUE 1 0 23

http://blog.test.com.cn

END

3)删除表urls中的数据，然后查看Memcached是否也将该数据删除了。mysql>delete from test.urls where id=1;

Query OK, 1 row affected, 1 warning (0.00 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql> select memc_get('1');

+---------------+

| memc_get('1') |

+---------------+

| NULL |

+---------------+

1 row in set (0.00 sec)1>telnet 192.168.11.52 11211

Trying 192.168.11.52...

Connected to 192.168.11.52 (192.168.11.52).

Escape character is '^]'.

get 1

END

5. 使用memcached_functions_mysql的经验与技巧

memcached_functions_mysql使用起来比较简单，但是由于环境的差别，在实践过程中可能会遇到诸多的问题。下面总结了一些在使用memcached_functions_mysq过程中可能出现的问题和注意事项。

1) MySQL重启问题

如果MySQL服务器出现重启，需要重新设置连接Memcached关系(SELECT memc_servers_set('192.168.11.52:11211'))。

2) 程序BUG问题

memcached_functions_mysql的源程序有可能存在bug，并且会导致MySQL的失败。针对这个问题，读者要尽量选择源程序的稳定版本。

3) 网络因素

网络因素是指MySQL和Memcached是否处在同一个IDC、它们之间的网络性能是否很好。网络性能越好，则速度越快。使用本机的Memcached可以适当减少网络开销。

4) 插入的数据量

插入数据量的大小包含两个方面：向MySQL插入每条记录的大小，向Memcached中更新数据的大小。更新MySQL、Memcached的数据越大，更新的速度越慢。因此，要做好前期规划。

5) 延时问题

如果MySQL所在的机器使用的资源比较大，会导致更新Memcached过于缓慢，即出现类似m/s的延时问题。

6) 容灾问题

如果MySQL和Memcached中有宕机情况出现时，需要考虑怎么恢复，根据前一小节的测试可以这样考虑：建一张错误表，如果在更新mc时出现问题，自动把更新错误的记录插到这张表中，通过查询这张表，可以知道哪些数据在什么时间出现过更新错误。

如果memcached_functions_mysql应用于生产环境，需要考虑监控和出现问题时的恢复工作(写好脚本以完善这个工作)。

7) MySQL自身因素

如执行的MySQL语句的效率以及连接MySQL的client程序(php)的连接开销等，这些问题都需要考虑。

 类似资料：

相关阅读

Java操作Mysql的方法MYSQL子集操作通过SpringCache缓存嵌套的可缓存操作C# 通过 oledb 操作Excel实例代码如何通过JavaScript设置表单操作？

相关文章

文件上的操作hbase的基本操作MySQL调用存储过程和函数操作系统的类型PHP操作MongoDB

相关问答

使用公共IP通过Internet操作服务器的问题。Socket和Python3通过--ServiceAccount在气流kubernetes吊舱操作员如何通过浏览器访问TYPO3操作如何通过键名/路径访问和操作多维数组？如何通过java RESTful操作关键的云代工opsman

相关文档

XORM 操作手册XWeb 操作指南操作系统思考学习 RxJS 操作符通过例子学 Rust
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.