从第一款日志管理产品投入市场至今已有二十年历史，SIEM经历持续迭代，从最初单纯日志管理（SEM-Security Event Management）功能，到增加安全信息管理（SIM–Security Information Management）功能，逐渐演变为SIEM（Security Information and Event Management）。随着SIEM的广泛使用，其收集和管理的数据越来越广泛，对它的期待也不断提升。近年来其实时性也成为各厂商宣传和角逐的核心功能之一。
01实时性的必要性
SIEM可以收集网络中各种来源的日志，尤其是实时日志，例如安全设备（防火墙、***检测、防病毒软件）、主机系统、终端设备、网络设备等。这些实时日志的收集在整个IT环境中可以提供有价值的信息包括网络活动的可视化，但这种信息只有得到实时处理并立即采取响应措施，才能实现这一价值，并且将日志分析直接融合到实时调查、威胁遏制、和事件响应活动中才能真正确保企业或机构的自身安全。反之，如果没有能力处理这些实时信息，这些实时的日志除了变成更多的数据存储进行事后调查外，并不能实现数据的保护、防止数据泄露。问题是SIEM真的能实现实时分析吗？
02实时分析的挑战
SIEM产品起源于日志的收集和管理功能，其后的分析功能是对收集到的大量数据进行离线分析，主要用于审计和事故调查，配合人工调查。因为日志数据来源于不同的产品，每个日志都带有与其特定产品相关意义的信息，它们都是为自身运营而生成的副产品，并不是专门为SIEM的需要来特殊设计的，所以绝大多数日志对安全而言毫无价值。为了减少“垃圾进、垃圾出”带来的大量误报，SIEM通常需要对收集到的大数据进行预处理或清洗，这些过程使“实时性”成为难以逾越的鸿沟。所以一些厂商为了满足“实时性”的需要，省略这些必要的预处理及必要的关联分析环节，而直接对收集的日志检索，进行实时报警。其误报率可想而知。
03路在何方？
以无序杂乱的大数据为基础，来实现有意义的实时分析是一种悖论，这在企业或机构实际的环境中更是不现实，因为用来预处理和数据清洗的计算资源不可能是无限的。虽然安全运维人员对分析系统的实时性要求没有像对防火墙那样限制在数百毫秒之内，但至少要能够满足事件实时响应的需要。怎样才能即实现这种实时性，又具有SIEM的分析能力？
解决这个问题的核心是需要拿到实时、全面、高效、清洁的元数据，使分析系统能够即时开始必要的数据分析。要实现这个目标，数据必须要根据分析系统的需要定向采集，即所有的数据都是为满足分析系统的需要的完成的正确数据，而不是杂乱的大数据。更理想的是把分析的一部分功能前置到数据采集端，通过边缘计算来减轻集中计算的压力，使分析计算能够在短时间内完成，实现实时分析。其架构如下图所示，部署在各分支机构的全息采集器就兼顾了这个边缘计算的功能。
关于全息网御：全息网御科技融合NG-DLP、UEBA、NG-SIEM、CASB四项先进技术，结合机器学习（人工智能），发现并实时重构网络中不可见的”用户-设备-数据”互动关系，推出以用户行为为核心的信息安全风险感知平台，为企业的信息安全管理提供无感知、无死角的智能追溯系统，高效精准的审计过去、监控现在、防患未来，极大提高IT安全运维和安全人员响应事故、抓取证据链、追责去责无责、恢复IT系统的能力和效率。