重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
限流算法目前程序开发过程常用的限流算法有两个:漏桶算法和令牌桶算法。
成都创新互联公司专注于且末网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供且末营销型网站建设,且末网站制作、且末网页设计、且末网站官网定制、小程序开发服务,打造且末网络公司原创品牌,更为您提供且末网站排名全网营销落地服务。
漏桶算法
漏桶算法的原理比较简单,请求进入到漏桶中,漏桶以一定的速率漏水。当请求过多时,水直接溢出。可以看出,漏桶算法可以强制限制数据的传输速度。如图所示,把请求比作是水滴,水先滴到桶里,通过漏洞并以限定的速度出水,当水来得过猛而出水不够快时就会导致水直接溢出,即拒绝服务。
图片来自网络
漏桶的出水速度是恒定的,那么意味着如果瞬时大流量的话,将有大部分请求被丢弃掉(也就是所谓的溢出)。
令牌桶算法
令牌桶算法的原理是系统以一定速率向桶中放入令牌,如果有请求时,请求会从桶中取出令牌,如果能取到令牌,则可以继续完成请求,否则等待或者拒绝服务。这种算法可以应对突发程度的请求,因此比漏桶算法好。
图片来自网络
漏桶算法和令牌桶算法的选择
两者的主要区别漏桶算法能够强行限制处理数据的速率,不论系统是否空闲。而令牌桶算法能够在限制数据的平均处理速率的同时还允许某种程度的突发流量。如何理解上面的含义呢?漏桶算法,比如系统吞吐量是 120/s,业务请求 130/s,使用漏斗限流 100/s,起到限流的作用,多余的请求将产生等待或者丢弃。对于令牌桶算法,每秒产生 100 个令牌,系统容量 200 个令牌。正常情况下,业务请求 100/s 时,请求能被正常被处理。当有突发流量过来比如 200 个请求时,因为系统容量有 200 个令牌可以同一时刻处理掉这 200 个请求。如果是漏桶算法,则只能处理 100 个请求,其他的请求等待或者被丢弃。
处理高并发的方法不止三种。
1:系统拆分
将一个系统拆分为多个子系统,用dubbo来搞。然后每个系统连一个数据库,这样本来就一个库,现在多个数据库,这样就可以抗高并发。
2:缓存,必须得用缓存
大部分的高并发场景,都是读多写少,那你完全可以在数据库和缓存里都写一份,然后读的时候大量走缓存不就得了。毕竟人家redis轻轻松松单机几万的并发,没问题的。所以可以考的虑考虑项目里,那些承载主要请求读场景,怎么用缓存来抗高并发。
3:MQ(消息队列),必须得用MQ
可能还是会出现高并发写的场景,比如说一个业务操作里要频繁搞数据库几十次,增删改增删改,那高并发绝对搞挂系统,人家是缓存你要是用redis来承载写那肯定不行,数据随时就被LRU(淘汰掉最不经常使用的)了,数据格式还无比简单,没有事务支持。
所以该用mysql还得用mysql,用MQ,大量的写请求灌入MQ里,排队慢慢玩儿,后边系统消费后慢慢写,控制在mysql承载范围之内。所以得考虑考虑你的项目里,那些承载复杂写业务逻辑的场景里,如何用MQ来异步写,提升并发性。MQ单机抗几万并发也是可以的。
4:分库分表
可能到了最后数据库层面还是免不了抗高并发的要求,那么就将一个数据库拆分为多个库,多个库来抗更高的并发;然后将一个表拆分为多个表,每个表的数据量保持少一点,提高sql跑的性能。
5:读写分离
这个就是说大部分时候数据库可能也是读多写少,没必要所有请求都集中在一个库上,可以搞个主从架构,主库写入,从库读取,搞一个读写分离。读流量太多的时候,还可以加更多的从库。
可以通过以下几种方式来模拟高并发连接不够用:
1. 使用压力测试工具来模拟高并发:比如JMeter、ApacheBench等工具,通过模拟多个用户同时访问数据库来测试数据库的并发处理能力。
2. 减少连接池大小:可以在MySQL的配置文件中设置连接池大小,将其设置得非常小,例如只有10个连接,然后通过多个客户端同时连接数据库,可以模拟连接不够用的情况。
3. 使用外部工具模拟高并发:可以使用类似ab或者wrk这样的工具来模拟高并发,这些工具会向服务器发送大量的请求,让服务器来处理请求,从而模拟高并发的情况。
4. 增加并发请求数:可以通过编写程序来同时向数据库发起大量的并发请求,从而模拟高并发的情况。可以使用Python的multiprocessing库或者Java的多线程技术来编写程序。
在互联网公司中,MySQL是使用最多的数据库,那么在并发量大、数据量大的互联网业务中,如果高效的使用MySQL才能保证服务的稳定呢?根据本人多年运维管理经验的总结,梳理了一些核心的开发规范,希望能给大家带来一些帮助。
一、基础规范
二、库表设计
问题:使用VARCHAR(5) 和VARCHAR(200) 存储’hello’的磁盘空间开销是一样的,使用更短的列表有什么优势吗?
更大的定义列会消耗更多的内存,因为MySQL通常会分配固定大小的内存块来保存内部值,尤其是使用内存临时表进行排序或操作时会特别糟糕
三、索引设计
基本规则:索引不是越多越好,能不添加的索引尽量不要添加,过多的索引会严重降低数据插入和更新的效率,并带来更多的读写冲突和死锁!
示例:假设在表tab中id建立了索引
四、SQL优化
示例:
字段: code varchar(50) NOT NULL COMENT ‘编码’ #code上建立了索引
SELECT id,name,addr from tab_name where code=10001; 不会使用索引
SELECT id,name,addr from tab_name where code='10001'; 会使用索引
Select * from table limit 10000,10;
LIMIT原理:
Limit 10000,10 偏移量越大则越慢
Select * from table WHERE id=23423 limit 11; #10+1 (每页10条)
Select * from table WHERE id=23434 limit 11;
Select * from table WHERE id = ( select id from table limit 10000,1 ) limit 10;
Select * from table INNER JOIN (SELECT id from table limit 10000,10) USING(id)
最后说明:
上述规范是多年MySQL数据库使用的经验总结,希望能给大家带来一些启发和帮助!