Splunk的替代品？

#1 楼

注意：这全部是关于Linux和自由软件的，因为这是我最常使用的，但是您可以在Windows上使用syslog客户端将日志发送到Linux syslog服务器上就可以了。

登录到SQL服务器：
只有约30台计算机，几乎所有集中式syslog-like和SQL后端都应该可以。我在Linux上使用syslog-ng和MySQL。

用于图形化的漂亮前端是主要问题-看来，有很多黑客入侵的前端会抢占物品从日志中显示有多少点击，警报等信息，但我还没有发现任何集成且干净的东西。诚然，这是您正在寻找的主要内容...（如果我发现有什么好处，那么我将更新此部分！）

警告：我在Linux服务器上使用SEC来发现错误日志中发生的事情，并通过各种方法提醒我。它非常灵活，不像Splunk那样可点击。这里有一个很好的教程，它指导了许多可能的功能。

我还使用Nagios来显示各种统计信息的图表以及一些我从日志中未得到的警报（例如何时使用服务）。下等）。可以轻松自定义添加任何喜欢的图形。我通过让代理使用check_logfiles插件来计算日志中的命中次数（添加了它在每个检查周期内所占的位置），从而添加了项目图，例如对http服务器的命中数。

总体而言，这取决于您花费多少时间来进行设置，因为可以使用许多选项，但是它们不如Splunk集成，因此可能需要付出更多的努力才能获得做你想做的。 Nagios图很容易设置，但是在添加图之前不提供历史数据，而使用Splunk（以及可能的其他前端），您可以回顾过去的日志并仅用图形表示事物想从他们那里看。

还请注意，SQL数据库格式和索引编制将对查询速度产生巨大影响，因此，全文索引的构想将极大地提高搜索速度。我不确定MySQL还是PostgreSQL是否会执行类似的操作。

编辑：MySQL将执行全文索引，但仅在MySQL 5.6之前的MyISAM表上进行。在5.6中添加了对InnoDB的支持。

编辑：Postgresql当然可以进行全文搜索：http://www.postgresql.org/docs/9.0/static/textsearch.html

#2 楼

* nix比Windows更具针对性，但是章鱼确实支持Windows，并且似乎与splunk一样。

#3 楼

我正在尝试多种监视解决方案-但我想主要监视窗口。大多数系统都适用于SNMP监控，无需代理即可设法提取大量信息。

以下是到目前为止我尝试过的一些系统：

Nagios-开源。可以配置但评级很高的猪，看起来非常灵活。它似乎本质上是一个计数器记录器，不允许远程脚本执行，因此不能用来解决配置问题，例如MS系统中心或Kaseya。没有代理，但是没有在每个客户端上安装NSclient工具的情况下实际上是没有用的。

Cacti-基于提取snmp统计信息的漂亮而直接的绘图工具。

OpsView-基于Nagios，但更易于配置且具有更好的前端。

HypericHQ-易于在Windows下启动和运行。基本版本是免费的，功能很多。有一家商业HypericHQ企业。必须在每个客户端上安装代理。

Zabbix-另一个不错的监视工具。它比nagios更易于使用。有可以在Windows和客户端计算机上安装的代理。到目前为止，我仅探讨了这一点。

Zenoss-开源。 Zenoss的专业水平给我留下了深刻的印象。它是一个基于SNMP的监视器，并具有大量扩展，以允许监视HP proliants，Windows服务，ms sql服务器，mysql。所有扩展都通过SNMP运作，因此不需要在客户端计算机上安装任何扩展程序。我尚未探索所有内容，并且似乎还有很多功能需要利用。它基于Zope，因此，除非您完全了解Zope的安装，否则我建议您下载预先准备的VM-它像开箱即用的梦一样工作。

在商业领域，您可以看看一些工具：

Kaseya-如果我没记错的话，每年250个节点的费用约为6k，但它是一种出色的工具，并且拥有非常活跃的用户社区。它针对MSP市场，并允许监视多个公司的系统。它可以在内部使用而没有问题。

GFI Hounddog-比Kaseya简单，但目前非常便宜。绝对值得一看。

有许多作为MSP系统出售的解决方案，但它们本质上是监视器+远程管理的组合。

Ian

#4 楼

对于具有许多强大功能的集中式syslogging，我不禁推荐了rsyslog。它是一个开放源代码的syslog服务器，可以愉快地代替您熟悉和喜欢的常规syslogd进行操作。现在，它已成为Ubuntu的首选syslog守护程序，我认为Red Hat＆Fedora也可能会沿着这条道路走。我发现它很容易启动和运行，并执行您想要的syslog-ng。

当前，在我们的商店中，我们有两个中央rsyslog服务器（每个站点一个）。接收数百台服务器的日志。每当syslog中的某些事件触发警报或更高级别时，我都会收到自动电子邮件警报（当然，通过一些调整，某些应用有点危言耸听）。我可能还可以做一些更聪明的事情，例如让它向Nagios等发送东西，但是它足以满足我们目前的需求。

这一切也都进入了mysql数据库（如果您这样做的话，也支持Oracle或postgresql）。

还有一个Web前端和一个Windows代理也将Eventlog日志发送到rsyslog服务器。 Web前端显然不像splunk那样精巧，但是它只需$ 0即可完成工作。

#5 楼

看看http://www.codeplex.com/polymon

它的开放源代码，在后端使用SQL Server并具有精美的UI

#6 楼

我同意Splunk很棒。但是，对于小型的，占主导地位的Linux环境，您可能希望查看类似epylog的东西。

我们在以前工作的地方之一使用过它，它非常适合我们想要的东西。

不确定它处理Windows syslog消息的性能如何被发送到Linux syslog收集器，但可能值得一试。

#7 楼

只需链接到其他答案，其中：

Splunk非常昂贵：有哪些替代方案？

编辑（新项目）：

LogStash和Graylog2项目看起来非常有趣

这里有几个视频：一个两个。

#8 楼

诸如GFI EventsManager之类的工具可能会花费大约$ 4k。


分析事件日志，包括SNMP陷阱，Windows事件日志，W3C日志和Syslog
查看有关当前正在发生的关键安全信息的报告
集中式事件记录
删除占所有安全性很大比例的“噪声”或琐碎事件
事件
24 x 7 x 365天实时监视和警报
通过内置的状态监视器以图形方式监视GFI EventsManager和您的网络的状态
支持虚拟环境

#9 楼

如果您正在寻找SysLog替代品，则可能还需要考虑商业syslog / rsyslog替代品，例如LogLogic，http：//loglogic.com。我们（我工作的地方）拥有功能齐全的设备日志记录，存储和报告集。本质上，它每秒能够收集100,000s条消息，使消息痛苦并编制索引以便可以进行搜索的功能。

#10 楼

您可以尝试从liquidlabs进行logscape-与splunk非常相似，但也具有一些不同的功能....
http://www.liquidlabs-cloud.com/products/logscape.html

#11 楼

我在上一份工作中做了SQL后端工作（顺便说一下，是MySQL），完成了脚本，使用了自定义PHP脚本的Drupal接口，完成了这些工作。

老实说，这花了太多的人力，小时，但仍然不是Splunk。

当前，我正在测试Splunk。是的，它不是免费的，但纵观全局，它实际上可能会更便宜。

#12 楼

您是否尝试过php-syslog-ng？
http://code.google.com/p/php-syslog-ng/

#13 楼

我发布了dupe线程：
Splunk非常昂贵：有哪些替代方案？

xpolog和所有严肃的商业解决方案都是BIG $（即使少于splunk，大多数也很容易达到5位数字！）

太好了，我们最终做了什么（因为splunk太贵了）：

1）我们想要一个简单的syslog到sql db管道

2）我们尝试了kiwi syslog。这个工具运行了一个星期很好，停止工作了，猕猴桃支持无法修复它。所以我们放弃了奇异果

3）我们尝试了winsyslog。应用程序的老狗，我们不想学习它。

4）我们使用了这个免费的.net应用程序：http://www.aonaware.com/syslog.htm

Voila。我们的数据库中有syslog消息。

我们很高兴。花了$ 0，花了几个小时，但又不过分。

#14 楼

我们在这里使用Splunk，他们告诉您的价格令我有些震惊。我们得到的基本分解数据大约是每1GB数据1000美元。它成本高昂，但功能强大且开发非常快。根据您的数据源以及您要使用的数据，某些python和perl脚本可能会为您提供许多相似的数据。最大的不同将是时间，而学习真正使用该语言进行文本处理。您也无法获取实时IP信息（类似于syslog），尽管可以通过获取syslogger并将信息输出到文本文件来解决此问题。抱歉，我无法为您提供任何具体的解决方案；我们不能将splunk用作我们使用python，perl和bash脚本的内容。

#15 楼

ELSA-企业日志搜索和存档

主要功能：



对消息或已解析字段中的任何单词进行全文搜索。
按任何字段分组并根据结果生成报告。
计划搜索。
警告新日志中的搜索结果。
保存搜索，将保存的搜索结果通过电子邮件发送。
创建事件基于搜索结果的票证（带有插件）。
用于结果的完整插件系统。
以永久链接或Excel，PDF，CSV和HTML格式导出结果。
完全LDAP集成以获得权限。 br />按用户以及日志大小和计数进行查询的统计信息。
完全分布式的体系结构，可以处理n个节点，所有查询并行执行。
压缩归档文件，比率优于10：1。


性能详细信息：


对于系统规范，按重要性顺序排列：磁盘大小，RAM，磁盘速度，CPU数量。首要的性能因素是Sphinx的索引器和搜索守护程序，因此请参考sphinxsearch.com以获取文档。我给出的统计数据来自大型系统（16 CPU，144 GB RAM，12 TB HD），但是随着事物线性扩展，在具有4 CPU，8 GB RAM和任何大小的HD的系统上，您将获得相同的性能。该系统首先在具有4 GB RAM和慢速SAN驱动器的IBM刀片服务器上运行，并以大约相同的速率运行，但是4 GB正在将其割裂一些。


性能细节和主要功能列表，以及架构说明：http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

代码：https：// code.google.com/p/enterprise-log-search-and-archive/

虚拟机：http：//ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available。 html

与该项目有关的详细信息：http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

#16 楼

如果您正在寻找Splunk的更便宜的替代品，请尝试LogZilla（http://www.logzilla.pro）。它的伸缩性比Splunk更好或更好（您可以在1-2秒钟内搜索300m日志），轻松实现成本的1/10。他们有一个运行在http://demo.logzilla.pro
的演示。