使用Fluentd和MongoDB怎么构建一个日志收集系统,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
创新互联网站建设提供从项目策划、软件开发,软件安全维护、网站优化(SEO)、网站分析、效果评估等整套的建站服务,主营业务为成都网站建设、成都网站设计,APP应用开发以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。创新互联深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!安装
为了完成相关的测试,需要安装下面一些组件:
Fluentd with MongoDB Plugin
MongoDB
Apache (with the Combined Log Format)
在Fluentd的新安装包中已经包含了MongoDB插件,你也可以用命令
gem install fluent-plugin-mongo
来进行安装
Debian Package
RPM Package
MongoDB Downloads
配置
如果你是使用上面的deb/rpm包安装的Fluentd,那么配置文件位置在:/etc/td-agent/td-agent.conf,否则其位置应该在:/etc/fluentd/fluentd.conf
首先我们编辑配置文件中的source来设置日志来源
source>
type tail
format apache
path /var/log/apache2/access_log
tag mongo.apache
/source>
如何使用Fluentd和MongoDB构建日志收集系统
其中:
①type tail: tail方式是 Fluentd 内置的输入方式,其原理是不停地从源文件中获取新的日志。
②format apache: 指定使用 Fluentd 内置的 Apache 日志解析器。
③path /var/log/apache2/access_log: 指定日志文件位置。
④tag mongo.apache: 指定tag,tag被用来对不同的日志进行分类
下面再来编辑输出配置,配置日志收集后存储到MongoDB中
match mongo.**>
# plugin type
type mongo
# mongodb db + collection
database apache
collection access
# mongodb host + port
host localhost
port 27017
# interval
flush_interval 10s
/match>
match标签后面可以跟正则表达式以匹配我们指定的tag,只有匹配成功的tag对应的日志才会运用里面的配置。配置中的其它项都比较好理解,看注释就可以了,其中flush_interval是用来控制多长时间将日志写入MongoDB一次。
测试
用ab工具对Apache进行访问,以产生相应的访问日志以供收集
$ ab -n 100 -c 10 http://localhost/
然后我们在MongoDB中就能看到收集到的日志了。
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联网站建设公司,的支持。
分享标题:使用Fluentd和MongoDB怎么构建一个日志收集系统-创新互联
分享地址:http://lswzjz.com/article/dpsijd.html