Batea使用机器学习来查找有价值的设备信息

Batea是一个用于网络扫描渗透测试仪的开源工具

当渗透测试仪扫描新网络时,他们经常分析NMAP报告以查找代表潜在安全威胁的设备,并需要进一步调查。

但问题是,企业网络可以包括成千上万的设备,使威胁发现类似于金块的拖网河床。

在Delve Labs的研究人员开发了与贵金属行业认识到这一类比的比喻Batea.,一个利用的开源工具机器学习在网络设备数据中找到有价值的信息。

'较重,闪亮的目标'

Batea从黄金潜在客户使用的工具中获取其名称,将黄金掘金分离从灰尘和泥浆中。

“这很容易让金矿之间平行渗透测试甚至是恶意网络侵入,“Delve Labs的Serge Olivier Paquette”曾经参加过奥维尔Paquette告诉每日SWbeplay2018官网IG.

“在尝试渗透网络时,人们必须分开泥泞,不感兴趣的设备,以重点关注在此过程中早期的较重和闪亮的目标。

“当安全专家设法在复杂的企业网络中发送大规模端口扫描或漏洞评估时,他们最终通过主要使用他们的经验和直觉来筛选大量信息。”

经验丰富的笔测试人员在其职业生涯中审查了大量数据,很快就会找到红色标志,例如一系列Windows工作站之间的Linux服务器;看似任意端口的多个HTTP服务器的机器;一个不寻常的主机名方案;或指示机器的行政目的的公开服务列表。

新手有更难找到相关信息的时间,并且随着网络中的设备数量增长,任务更加困难。

“这是我们看到使用机器学习的机会的地方,更换或增强学习的直觉,”Paquette说。

“如果我们能够自动解决识别什么的过程怎么办?应该在这样的评估中脱颖而出?如果我们可以自动化灰尘的金块滤除怎么办?“

Batea如何工作?

Batea采用NMAP报告的XML版本,并应用一系列转换,以创建关于每个设备的数字特征矩阵,例如打开端口的数量,主机名的复杂性或IP地址八位字节。

然后它使用隔离林,一种适合异常检测的无监督机器学习算法,找到“金块” - 网络中的优秀资产。

隔离林的优势在于它不需要山山来实现可靠的预测,并且适用于小型和大型网络。

“我们在具有40个设备的网络上看到了非常准确的排名,但随着增加设备的数量,它会变得更好,”Paquetts说明。“我们通常建议使用超过50个设备的数据集。”

笔测试仪可以从新的网络数据划痕训练Batea机器学习模型,或者使用已经在各种网络预先培训的模型。

“我们在实践中观察到的是,许多企业环境实际上是”典型的“环境,这就是Batea旨在捕获的。通过培训许多不同的环境 - 就像经验丰富的笔测试仪一样 - 该模型在将基线与特殊的情况下分离出来迭代且更好。“

事实上,DELVE推出了一个测试页面对于Batea,笔测试仪可以上传他们的NMAP报告,并将它们与黄金掘金仔细使用,而无需安装该工具。反过来,Delve将使用他们的数据进一步培训Batea的机器学习模型。

Batea有多奇生效?

评估无监督机器学习模型的准确性是具有挑战性的,因为与监督学习不同,没有基础事实或标记数据来比较结果。

尽管如此,Batea根据Delve的说法,Batea已经从安全社区获得了良好的反馈,因为它使用简单的模型来解决令人沮丧的问题。paquette称为它“免费,可操作机器学习模型的少数例子之一,实际上可以简化野外的笔测试仪的工作”。

在未来几个月内,基于加拿大的Delve团队计划增加几个功能来增强Batea,包括与NMAP以外的工具的集成以及将外部数据映射到设备的能力。

它们还将致力于减少维度,这是一种从数据中删除不必要的功能的过程,以便机器学习模型仍然可以实现准确性,培训示例相当较少。


阅读更多SAMM V2 - OWASP发布改进的安全保证框架