ELK kibana查询与过滤(17th)
在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。
创建查询
在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写。如查询类型是http，且状态码是302。type: http AND http.code: 302。
字符串查询
查询可以包含一个或 ...
ELK Packetbeat 协议和进程配置项(16th)
Packetbeat 协议部分包含支持每个协议的配置项，如ports, send_request, send_response 和 特定的协议选项。
目前Packetbeat支持以下协议：
DNS
HTTP
Mysql
PostgreSQL
Redis
Thrift-RPC
MongoDB
Memcache
配置如下：protocols:
dns:
ports: [53]
http:
ports: [80, 8080, 8000, 5000, 8002]
memcache:
...
ELK Packetbeat 部署指南(15th)
Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。
Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTTP、MySQL、redis等等，关联请求与响应，并记录每个事务有意义的字段。
Packetbeat可以帮助我们快速发现后端应用程序的问题，如bug或性能问题等等， ...
ELK logstash 结构(22nd)
在命令行中指定-e参数，从标准输入到标准输出，并格式化结果。# /opt/logstash/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
www.ttlsa.com
Settings: Default filter workers: 2
Logstash startup completed
{
"message" => "www.ttlsa.com",
"@version" => "1",
"@timestamp" => ...
ELK logstash升级到2.0以及logstash-forwarder迁移到Filebeat(21st)
将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。
升级步骤
停止logstash以及发送到logstash的所有管道。
更新apt或yum源或者下载新版包。
安装新版的logstash。
测试logstash配置文件是否正确。
启动logstash以及第一步停止的管道。
升级logstash和elasticsearch ...
ELK logstash 处理多行事件(25th)
有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。
multiline插件最重要的方面：
pattern ...
ELK logstash 配置语法(24th)
数据类型
logstash支持的数据类型有：
array
数组可以是单个或者多个字符串值。 path => [ "/var/log/messages", "/var/log/*.log" ]
path => "/data/mysql/mysql.log"如果指定了多次，追加数组。此实例path数组包含三个字符串元素。
boolean
布尔值必须是TRUE或者false。true和false不能有引号。 ssl_enable => true
byt ...
DistributedLog 分布式高性能日志复制服务
项目地址：http://distributedlog.io/index.html
DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功能，这对于构建可靠的分布式系统都是至关重要的，如复制状态机（replicated-state-machines）、通用的发布/订阅系统、分布式数据库以及分布式队列。
DistributedLog会分类维护记录的序列（sequences of re ...
ELK logstash 处理mongodb日志(27th)
上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各 ...
ELK logstash 处理MySQL慢查询日志(26th)
在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。
MySQL慢查询日志格式如下：# User@Host: ttlsa[ttlsa] @ [10.4.10.12] Id: 69641319
# Query_time: 0.000148 Lock_time: 0 ...
B站日志系统
目录原有日志系统Billions的演进系统的初建日志规范日志系统技术方案系统迭代shard管理日志采样data node硬件瓶颈解决logstash性能解决日志监控现有问题和下一步工作B站的日志系统（Billions）从2017年5月份开始建设，基于elastic stack，面向全站提供统一的日志采集、检索、监控服务。目前集群规模20台机器，接入业务200+ ...
etcd 集群管理维护
官方网站:
https://github.com/coreos/etcd/
环境:
CentOS7
etcd-3.0.4
3节点集群示例
etcd1:192.168.8.101
etcd2:192.168.8.102
etcd3:192.168.8.103
一.安装etcd(所有节点)
curl -L https://github.com/coreos/etcd/releases/download/v3.0.4/etcd-v3.0.4-linux-amd64.tar.gz -o etcd-v3.0.4-linux-amd64.tar.gz
tar xz ...
ELK 处理 Percona 审计日志(填坑)
前提
1、有强烈的审计需求。
2、能允许10%-15%左右的性能损失。
3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。
Logstash 比较坑的配置
input {
file {
path => ["/u02/backup/audit.log"]
codec => json
}
}
output {
elasticsearch {
hosts => ["192.168.1.233"]
...
rsync安装模块—puppet系列
1. 客户端安装rsync模块
一定要下载，不然客户端的 /etc/rsyncd.conf 该文件是空的# cd /etc/puppet/modules #进入模块路径目录
# git clone https://github.com/onyxpoint/pupmod-concat && mv pupmod-concat concat
# git clone https://github.com/onyxpoint/pupmod-rsync && mv pupmod-rsync rsync如果你主机上没 ...
sudo管理和mysql的安装—puppet系列
云计算时代系统管理员会经常陷入一系列的重复任务中，如安装或重装系统，升级软件包，管理配置文件，添加、管理和配置系统服务等等，成百上千台服务器，够让我们抓狂的，因此自动化就非常有必要了。
Puppet 是一个客户端/服务器（C/S）架构的配置管理工具，在中央服务器上安装 puppet-server 服务器（puppet master），在需 ...
安装和客户端证书颁发—puppet系列
puppet简介
Puppet基于ruby语言开发的自动化系统配置工具，可以C/S模式或独立运行，支持对所有UNIX及类UNIX系统的配置管理，最新版本也开始支持对Windows操作系统有限的一些管理。Puppet适用于服务器管的整个过程 ，比如初始安装、配置更新以及系统下线。
Puppet的安装方式支持源码安装、yum安装以及ruby的gem安装。官网推 ...
saltstack快速安装
过几天就要离开这家公司了,原先计划做的自动化还没完成,群主推荐了saltstack,上网对比了相关软件puppet和func. 决定选择他来做自动化.前后研究了几天，今天把公司的服务器都上了saltstack，今天先分享下saltstack的简单安装方法.
以下是redhat6和centos6的安装过程, centos5的同学直接跳到后面.超快的安装方法.
1. 安装源
1 ...
基于saltstack实现的配置集中化管理
Saltstack是一个具备puppet与func功能为一身的集中化管理平台，saltstack基于python实现，功能十分强大，各模块融合度及复用性极高，官方极力推荐作为云计算平台的基础架构。轻松维护成千上万台服务器不是问题，现分享作者基于saltstack实现一个集中化的配置管理平台，以Nginx配置例子展开，涉及salt的grains、grains_modul ...
如何建立多Master的SaltStack环境
目录Master KeysConfigure MinionsSharing Files Between MastersMinion Keysfile_rootspillar_rootsMaster ConfigurationConslusion0.16.0版本的发布，带来了minion可以连接多Master的特性. 这种方式称为多master( multi-master )配置, 使环境中的SaltStack冗余。在这种配置下，Salt Minions将连接所有配置的Salt Master ...
saltstack自动化运维快速入门
今天没事发了2个小时 把以前研究过的saltstack 复习了一篇 准备没事开始上线部署下（先慢慢用） 以前一直研究这个研究 那个每次都是搞到一个初级水平 后来没需求了 就没研究了 这样过段时间了 啥都忘记完了 这次顺便把 复习过程记录下来 以后好查阅（这也是我写博客的最大原因）
关于saltstack 这个软件是干啥的 我这里就不 ...
