Apache RocketMQ 是阿里开源的一款高性能、高吞吐量的分布式消息中间件。 整体架构 RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。每个 Broker 可以存储多个Topic的消息，每个Topic的消息也可以分片存储于集群中的不同的Broker Group。                                                …

Kafka 是由 LinkedIn 公司推出的一个高吞吐的分布式消息系统，通俗地说就是一个基于发布和订阅的消息队列，温故而知新，反复学习优秀的框架，定有所获。 应用场景 Kafka 的应用场景如下： 异步解构：在上下游没有强依赖的业务关系或针对单次请求不需要立刻处理的业务。 系统缓冲：有利于解决服务系统的吞吐量不一致的情况，尤其对处理速度较慢的服务来说起到缓冲作用。 消峰作用：对于短时间偶现的极端流量，对后端的服务可以启动保护作用。 数据流处理：集成 spark 做实时数据流处理。 Kafka …

想必大家一定听说过Nginx，若没听说过它，那么一定听过它的“同行”Apache吧！ Nginx的产生 Nginx同Apache一样都是一种Web服务器，基于REST架构风格，以统一资源描述符（Uniform Resources Identifier）URI或者统一资源定位符（Uniform Resources Locator）URL作为沟通依据，通过HTTP协议提供各种网络服务。 然而，这些服务器在设计之初受到当时环境的局限，例如当时的用户规模，网络带宽，产品特点等局限并且各自的定位和发展都不…

Nginx 是一个很强大的高性能 Web 和反向代理服务，它具有很多非常优越的特性，在连接高并发的情况下，Nginx 是 Apache 服务不错的替代品。其特点是占有内存少，并发能力强，事实上 nginx 的并发能力在同类型的网页服务器中表现较好，因此国内知名大厂例如：淘宝，京东，百度，新浪，网易，腾讯等等都在使用 Nginx 网站。 在我们的日常工作学习中，我们会该如何去优化自己的 Nginx 服务器？遇到以下问题我们该如何处理呢？ 一、自定义返回客户端的404错误页面 1）优化前，客户端使用…

在监控软件中，开源的解决方案有流量监控（MRTG、Cacti、SmokePing、Graphite 等）和性能告警（Nagios、Zabbix、Zenoss Core、Ganglia、OpenTSDB等）可供选择，并且每种软件都有自己的特点和功能，各自的侧重点和目标不完全相同，在设计理念和实现方法上也大同小异，最终都能达到对 IT 系统服务可用性的一个完全展示。 Zabbix 是一个分布式监控系统，支持多种采集方式和采集客户端，有专用的Agent（代理），也可以支持 SNMP、IPMI、JMX、…

比如我们在 host2 机器上面部署了很多服务，但是由于某种原因导致我们无法直接 ssh 访问该服务器已经其上服务的对应端口，但是 host3 服务器，既能够访问 host2 服务器，又可以访问我们的 host1 服务器。这时，我们可以通过设置 ssh 来进行服务的访问。但是还有两个问题：你需要保持终端开启防止 SSH 进程被关闭；由于网络故障/波动导致 SSH 终断时无法自动重连。 前者可以使用 tmux 等第三方工具来解决，后者需要 supervisor 等第三方监控工具，不过我们还有一个更…

本文作者将分享 5 个优雅的 Python Numpy 函数，有助于高效、简洁的数据处理。 在 reshape 函数中使用参数-1 Numpy 允许我们根据给定的新形状重塑矩阵，新形状应该和原形状兼容。有意思的是，我们可以将新形状中的一个参数赋值为-1。这仅仅表明它是一个未知的维度，我们希望 Numpy 来算出这个未知的维度应该是多少：Numpy 将通过查看数组的长度和剩余维度来确保它满足上述标准。让我们来看以下例子： 维度为-1 的不同 reshape 操作图示。 假设我们给定行参数为 1，列…

简介： Loki的第一个稳定版本于2019年11月19日发布，是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。Loki 是专门用于聚集日志数据，重点是高可用性和可伸缩性。与竞争对手不同的是，它确实易于安装且资源效率极高。 特点： 优点： 1、Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。 2、与EL…

由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。 本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要…

一、条件选择、判断 1、条件选择if （1）用法格式 逐条件进行判断，第一次遇为“真”条件时，执行其分支，而后结束整个if。 （2）经典案例： 分析：请输入年纪，先判断输入的是否含有除数字以外的字符，有，就报错；没有，继续判断是否小于150，是否大于18。 分析：请输入成绩，先判断输入的是否含有除数字以外的字符，有，就报错；没有，继续判断是否大于100，是否大于85，是否大于60。 2、条件判断 case （1）用法格式 （2）案例： 分析：请输入yes or no，回答Y/y、yes各种大小写…