快速入手开源日志分析系统logstash

快速入手开源日志分析系统logstash

logstash是一个独立的系统，除了可应用于ElasticSearch，还可以应用于redis，消息队列，或者我们自己写项目里也可以独立去使用它。

大家常说到的ELK是ElasticSearch、Logstash和Kibana三个组成的。

下载地址： https://www.elastic.co/cn/downloads/logstash

解压完成，cd到bin目录，执行：

./logstash -e ''

然后稍等片刻…. 这是默认的最简单的日志收集，得到你的stdin输入，然后输出日志在控制台。

这个时候会监控我们的输入，比如我们输入jack：

简单说明

-e可以理解为logstash的配置字符串。如果什么都不写，则默认接受stdin(也就是键盘输入)

基本配置文件格式：

input { //包含各种插件如 file、http、udp、elasticsearch } filter { //过滤器设置 } output { //包含各种插件如 file、http、udp、elasticsearch }

官方文档地址： https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html

ok，我们开始，首选在logstash的bin目录下创建配置文件：

vi log.conf

写入如下内容：

input { file { path=>'/home/admin/testdir/*' } } output { stdout{} }

注意创建相关目录/home/admin/testdir。

我们可以检查一下刚才创建的配置文件：

./logstash -f log.conf -t

如果没有问题，就可以直接启动了：

./logstash -f log.conf #注意我们现在启动和之前的区别了

然后我们在终端再开一个窗口，cd到testdir目录中。 执行：

echo "hello logstash" > hello.txt

这时候在logstash的监控窗口观察，稍等片刻 控制台会输出：localhost.localdomain hello logstash

给hello.txt文件追求内容：

echo "123">>hello.txt

既然有input必须又output

output { file{ path=>'/home/admin/mylogout/file.log' } }

这代表结果会输出到指定的文件中。

关于所谓的mysql和elasticSearch同步

1、编程式 使用elasticdump手工生成json文件，编写shellscript导入elasticsearch中。后续的数据新增使用php进行编程除非同步。 2、使用插件(没有什么特别好的插件) 官方推荐的是基于logstash的插件logstash-input-jdbc 3、自己写。方案如下 采用阿里巴巴的一个开源项目canal，可以模拟mysql从服务器。封装了bin-log分析，我们可以自己开发一个客户端更好的控制数据同步。