重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
通常大家都会使用redis作为应用的任务队列表,redis的List结构,在一段进行任务的插入,在另一端进行任务的提取。
成都创新互联,为您提供网站建设公司、成都网站制作、网站营销推广、网站开发设计,对服务假山制作等多个行业拥有丰富的网站建设及推广经验。成都创新互联网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏心悦目的作品。 与客户共同发展进步,是我们永远的责任!
任务的插入
$redis-lPush("key:task:list",$task);
任务的提取
$tasks = $redis-RPop("key:task:list",0,-1);
可是大家想,如何使用mysql来实现一个队列表呢?
映入大家脑海的一个典型的模式是一个表包含多种类型的记录:未处理记录,已处理记录,正在处理记录等。一个或者多个消费者线程在表中查询未处理的记录,然后声称正在处理这个任务,处理完成之后,再讲记录更新为已处理状态。
这个典型的模式,存在两个问题;1:随着队列表越来越大,查找未处理记录的速度会越来越慢。2:频繁的加锁会让多个消费者线程增加竞争。
首先我们来创建一个表
create table unsent_emails{ id int not null primary key auto_increment, status enum("unsent","claimed","sent"),
owner int unsigned not null default 0,
ts timestamp, key (owner,status,ts)
};
该表的列owner用来存储当前正在处理这个记录的连接id,由函数 CONNECTION_ID()返回的连接id或者线程id。如果这个记录当前被没有被处理,则该值为0
我们在 owner status ts上面做了索引的处理,所以查找未处理的记录会很快。
通过我们会采用 select for update的方式来标记待处理的记录,方法如下
begin;select id from unsent_emails where owner = 0 and status = 'unsent'
limit 10 for update;-- result 10,20,33update unsent_emails set status = 'claimed',owner = CONNECTION_ID() where id in (10,20,33);
commit;
select的时候,使用了两个索引,应该会很快。问题出在select 和 update两个查询之间的间隙,这里的加锁会让其他相同的查询全部阻塞。
如果我们采用update then select的方式,那么效果就会更加高效,代码如下
set autocommit=1;commit;update unsent_emails set statue = 'claimed',owner = CONNECTION_ID() where owner = 0 and status = 'unsent'
limit 10;set autocommit=0;select id from unsent_emails where owner = CONNECTION_ID() and status = 'claimed';
根本无需使用select去查找哪些记录还没有处理。客户端协议会告诉你更新了几条记录,就可以知道这次需要处理多少条记录。
这样是不是解决了上面的第二个问题,select for update的模式的加锁会增加多个消费队列的竞争问题。
其实所有的select for update 都可以替换为 update then select模式。
问题还没有结束,还有一种情况需要处理,就是比如正在处理任务的进程异常退出了,那么对应的进程正在处理的任务也就变为僵尸任务了。如何避免这种情况的发生呢?
所以我们还是需要一个新的定时器或者线程来定时检测并且update,将那些僵尸任务的记录更新到原始状态,就可以了。
僵尸任务的定义必须符合两点,1:任务被搁置了很久,比如十分钟,而通常一个任务只需要10秒就可以处理完;2:任务的owner(线程id或者连接id)已经不存在,只需要执行show processlist就可以获取当前正在工作的线程id了。代码如下
update unsent_emails set owner = 0,status = 'unsent'
where owner not in (10,20,33,44) and status = 'claimed'
and ts current_timestamp - interval 10 minute;
一个基于mysql构建的队列表就完成了。
当然,最好的办法就是将任务队列从数据库中迁移出来。redis真是一个很好的队列容器,当然也可以使用ssdb(基于leveldb,内存占用更少)。
最近,有很多学员留言让我整理一下“零基础如何mysql学习?”.今天青岛电脑培训就整理一下学习MySQL你需要掌握的知识点以及送给新手学习的建议,希望对大家能够有所帮助!给新手的学习建议:1.在学习新的东西的时候,我们至少从三个问题开始。
What?why?how?2.学习需要坚持,如果还没准备好坚持半年比较枯燥的MySQL之旅,那么就别开始。
3.学习东西不在多,在精,市面上有非常多的MySQL教程,不要瞎学,今天这里学一点,明天那里学一点,这样你学的都只是知识点,无法形成一个知识面,知识网络。
4.在学习过程中充满好奇,使用google进行问题搜索,千万不要使用度娘了,质量不高。
至于怎么用Google,请自行搜索。
5.学习的目的在于使用,因此,不要仅仅看书,看一遍,看两遍,你可能还是没什么感觉。
因此学习一开始,就要动手练习,把资料上的情况,模拟一下。
6.请不要在windows上安装mysql进行学习,因为工作中都是linux系统。
我们需要从一开始就是实战,就是生产环境。
7.保持好心态,一步一个脚印的前进。
学习MySQL你需要掌握的知识点:1.系统,当然windos基本的要会。
然后就是Linux系统,现在做MySQLDBA的系统多数都是Linux系统,而生产环境大多又是RedHat,Centos。
其他的Linux和Unix系统可以只做了解。
2.Linux基础,网络,IO,内存,磁盘,CPU。
包括不限于安装,启动过程,目录结构,远程登录,文件属性与管理,用户与用户权限,LAMP结构vim,yum等shell命令,dns,ftp,以及一些常用工具。
3.MySQL基础:MySQL安装、MySQL体系结构,SQL,MySQL管理维护。
4.数据备份与恢复,常用的引擎:MyISAM、Innodb、NDB等。
5.数据库设计优化,一个好的MySQL系统,往往从设计开始。
6.SQL优化,参数优化,监控,安全等。
7.MySQL负载均衡,读写分离,MHA,MMM高可用架构,以及分布式架构:mycat、maxscale、galeracluster、MySQLGroupReplication等。
8.mysql5.6,mysql5.7新特性,mariadb、percona分支的差异和特点。
9.MySQLJSON、MySQLmemcached。
10.常见MySQL搭配的缓存系统,redis,memcached,以及NOSQL、NEWSQL。
以上,就是小编为大家整理的mysql学习你需要掌握的知识点以及送给新手学习的建议,希望能够帮助到大家!
MySQL有两种死锁处理方式。
1、等待,直到超时(innodb_lock_wait_timeout=50s)。
2、.发起死锁检测,主动回滚一条事务,让其他事务继续执行。
-+-+-+-+-+-+-+-+-+-+-+-
-+-+mysql的主从配置+-+-
-+-+-+-+-+-+-+-+-+-+-+-
#############################################################################
常用命令
1.安装一个mysqld服务
mysqld install
2.开启mysql服务 关闭mysql服务
net start mysql net stop mysql
2.开启一个 mysql 的 3307端口
命令行 进入解压目录\bin目录下
解压目录\bin mysql -uroot -p -P3307 -h127.0.0.1
-u 用户名
-p密码
-P端口
-h网址
#启动从库
Start slave
#停止从库
Stop slave
#############################################################################
开始
用一台电脑测试
先在本电脑上安装一个mysql(集成的也行)
解压文件
然后解压另一个mysql到电脑目录
》》》》》1.
在解压目录创建一个mysql.ini
把一下文档写进去配置一个端口号为3307
#mysqld
[mysqld]
port=3307
basedir=D:\mysqlsever #D:\mysqlsever 改成你解压目录
datadir=D:\mysqlsever\data #D:\mysqlsever 改成你解压目录
安装一个mysqld服务 mysqld install
开启mysql服务 net start mysql
不能正常启动请查看配置
》》》》2.
#主库3306
在命令行或者
grant 权限 on 数据库对象 to 用户
GRANT all privileges REPLICATION SLAVE,RELOAD,SUPER ON *.*
TO mysql_backup1@'*'
IDENTIFIED BY '123456'with grant option;
flush privileges;
》》》3.
在主库运行 SHOW MASTER STATUS //运行后查看File和Postion
如 File mysql-bin.000002 Postion 120
在从库运行
CHANGE MASTER TO master_host = '127.0.0.1',
master_user = 'mysql_backup',
master_password = '123456',
master_log_file = 'mysql-bin.000001',#看上面的File 从库对照主库写
master_log_pos = 4791;#看上面的Postion 从库对照主库写
如果报错就停止就重新运行
#启动从库
Start slave
#停止从库
Stop slave
在从库运行 Show slave status
Slave_IO_Running
Slave_SQL_Running
两个字段全部是是Yes基本上就成功了
测试
在主库上建立一个表 在从库上刷新
############################################################################
1、情况一:MySQL的错误日志文件(安装目录\MYOA\data5\机器名.err)会记录如下内容:
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Error: trying to add tablespace 460 of name '.\td_oa\flow_data_35.ibd'
InnoDB: to the tablespace memory cache, but tablespace
InnoDB: 460 of name '.\td_oa\exam_data.ibd' already exists in the tablespace
解决方法:
1)剪切出安装目录\MYOA\data5\TD_OA的flow_data_35.ibd和flow_data_35.frm两个文件;
2)启动MySQL5_OA服务,使用备份的flow_data_35.sql导入到TD_OA库中。如果提示flow_data_35表已经存在不能导入,则继续按后续步骤执行;
3)在data5下手动建立tmp目录;
4)使用MySQL管理工具或MySQL命令行程序在tmp下建立名称为flow_data_35的表(包含一个字段即可);
5)将tmp下的flow_data_35.frm和flow_data_35.ibd拷贝到安装目录\MYOA\data5\TD_OA目录下;
6)在MySQL管理工具或MySQL命令行程序中,进入TD_OA库,使用“drop table flow_data_35;”命令清除公共表空间中残留的flow_data_35表的相关信息;
7)进入tmp库,删掉flow_data_35表;
8)使用备份的flow_data_35.sql导入到TD_OA库中;
9)如果还有其他表存在该问题,可重复执行4至8步骤。
2、情况二:MySQL的错误日志文件(安装目录\MYOA\data5\机器名.err)会记录如下内容:
130409 15:54:31 [Note] Plugin 'FEDERATED' is disabled.
130409 15:54:31 InnoDB: The InnoDB memory heap is disabled
130409 15:54:31 InnoDB: Mutexes and rw_locks use Windows interlocked functions
130409 15:54:31 InnoDB: Compressed tables use zlib 1.2.3
130409 15:54:32 InnoDB: Initializing buffer pool, size = 1023.0M
InnoDB: VirtualAlloc(1086849024 bytes) failed; Windows error 8
130409 15:54:32 InnoDB: Completed initialization of buffer pool
130409 15:54:32 InnoDB: Fatal error: cannot allocate memory for the buffer pool
130409 15:54:32 [ERROR] Plugin 'InnoDB' init function returned error.
130409 15:54:32 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
130409 15:54:32 [ERROR] Unknown/unsupported storage engine: Innodb
130409 15:54:32 [ERROR] Aborting
解决方法:
此情况出现的原因是myoa\mysql5\my.ini中innodb_buffer_pool_size的值太大,OA服务器操作系统不支持所致。改小后再启动mysql5_OA服务即可,一般保持和数据库大小一致。数据库大小即是myoa/data5的大小。
3、情况三:mysql服务启动不了,事件查看器中显示:The syntax
'--log-slow-queries' is deprecated and will be removed in a future
release. Please use '--slow-query-log'/'--slow-query-log-file' instead.
解决方法:安装目录\MYOA\data5下的ibdata1、ib_logfile0、ib_logfile1文件属性被设置为只读导致,取消只读控制,重启mysql5_OA服务即可。
4、情况四:MySQL的错误日志文件(data5\机器名.err)会记录如下内容:InnoDB: No valid checkpoint found.
解决方法:此问题找不到检查点,数据库是无效的,此种情况,只能用热备份数据恢复。
5、以上四种情况,是2013版OA系统目前比较常见的mysql服务启动不了的现象和解决办法,大家可作参考,其他情况的话,再具体分析处理。
6、分析思路总结:遇到mysql5_OA服务启动不了的情况,首先查看myoa\data5下的错误日志文件,根据日志中的具体内容进行具体分析。
7、2013版MYSQL服务启动不了(可以尝试强制启动mysql服务)方法如下:
1)打开\MYOA\mysql5\my.ini,去掉innodb_force_recovery=1前边的注释。
2)启动MySQL5_OA服务,此时MySQL处于只读状态,可以导出,不可写入。如果仍不能启动,可以尝试将innodb_force_recovery修改为2、3、4、5、6等,直到可以启动为止。
3)使用MySQL管理工具,将TD_OA等相关的数据库导出为SQL文件。
4)停止MySQL5_OA服务,删除TD_OA下的所有文件、ibdata1、ib_logfile0、ib_logfile1等文件。
5)打开\MYOA\mysql5\my.ini,在innodb_force_recovery=1前边加上#号,将该项注释掉。
6)启动MySQL5_OA服务,然后导入此前备份的SQL文件。
7)检查数据库,将无法通过该方法恢复的数据表,通过之前自动备份的SQL文件进行恢复。