上个月，给app提供的app不能访问了，惊呆了，突然间不能访问了．上去看日志没有报错，机器load,内存,cpu都正常，日志也没有报错，真是遇见鬼了．最后发现是rabbitmq引起的．
项目的系统结构
项目是布的微服务，使用了dubbo做的rpc,使用的rabbitmq做的消息，mysql,redis等．对外提供的api,使用的netty(64个线程)，最重要的一点是：试用了rabbitmq做了分布式的本地cache.这次故障的原因：就是netty和rabbitmq的做分布式local cache.
原因
分布式local cache的设计是，当本地cache的有数据更新时候，就会广播到其他实例．而rabbitmq机器的内存是8G,默认试用内存为40%,也就是3.2Ｇ；在消息量很大的时候，就会把在rabbitmq的试用慢．我们的广播试用的faout类型的交换做的，大概有100台实例需要试用本地cache,也就是发３Ｍ就慢了，万一消费来不了，就堵了．在这篇文章（http://www.rabbitmq.com/memory.html）中介绍：
By default, when the RabbitMQ server uses above 40% of the installed RAM, it raises a memory alarm and blocks all connections that are publishing messages. >Once the memory alarm has cleared (e.g. due to the server paging messages to disk or delivering them to clients that only consume) normal service resumes.
api的64个线程都堵住了，也就接不了app打过来的请求了．
解决问题
- 换台大的内存的机器
- 发送消息时候线程池发送，同时使用试用固定大小的BlockingQueue
- 当本地cache因为查询而添加时候，不广播了；只广播因数据修改的消息
本文由 创作，采用 知识共享署名4.0 国际许可协议进行许可。本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名。最后编辑时间为: 2020/05/16 14:24