为什么大数据和机器学习对网络安全至关重要

随着网络威胁的不断演变，大数据和机器学习对于一个强大的网络安全策略越来越必要。Gartner研究部副总裁Will Cappelli说，公司正在将大型数据和机器学习能力结合起来，作为保障网络安全强有力方法的一部分。主要是部署一个聚集和管理大数据的平台，并将其与分析该数据的机器学习算法相结合，以发现隐藏模式和检测威胁。
随着网络安全策略演变为免受黑客攻击，黑客们正在开发越来越复杂的策略来绕过这些保护。他们可以使用机器学习自动选择最容易受到他们的威胁受害者。他们还可以使用机器学习来发现网络防御系统的弱点，或者开发绕过安全软件的新技术。黑客和防御系统之间无休止的战斗只会变得更加复杂。为了保持领先地位，网络防御系统需要部署与机器学习算法一样强大甚至更复杂。
安全事件的提取和情境化
机器学习的基本要素是大数据。敏感数据经常面临被攻击者窃取的风险，这使得公司有必要部署网络安全应用程序，如WAF（Web应用防火墙），这些应用程序能够通过聚合信息（如目录、URL、参数和用户认证码）来检测攻击。
同时，机器学习分析这些信息，以发现数据中的模式、相关性和异常。在网络安全领域，这意味着处理大量安全数据，并将其提取为安全团队更可读的内容。机器学习驱动的分析还确保了不放过被大量安全事件掩盖的任何攻击。
自然语言处理
关于安全事件的大部分信息并不是立即可见的。相反，它倾向于以非结构化文本的形式，分布在数百万个网站上，有时甚至埋藏在黑暗的网络中。解释这个文本是人类不可能完成的任务，但是使用大数据分析和机器学习很容易完成。
具有自然语言处理能力的平台，例如Recorded Future能够找到这种非结构化文本并收集相关数据。不管语言、标点符号、格式，甚至行话，机器学习工具都能够理解文本，并将其转化为安全专业人员可读的东西。
大数据、机器学习和人类思维
一个强大的网络安全平台需要一个内置的数据管理平台用于收集和组织大数据，结合机器学习算法分析这些数据、响应威胁和防止新攻击。机器学习的角色是将大量数据变成信息提取给安全专家第一时间进行处理。(上海市轻工业科技情报研究所编译)