专业的

爬网选项

• 最近更新时间：2022年5月6日

• 阅读时间：8分钟

有许多选项可用于配置bepaly下载 在基于爬网的扫描中。这些可以在启动扫描，或可以保留在Burp的配置库。

爬网优化

这些设置控制着爬网逻辑的行为，以反映爬网的目标和应用程序的性质。

最大链接深度

最大链接深度代表了爬网器将从开始URL（s）制作的最大导航过渡数（单击链接和提交表单）。现代应用程序倾向于在菜单和页面页脚等地点中为每个响应建立大量导航。因此，通常可以从启动URL开始少数啤酒花中达到应用程序的绝大多数内容和功能。完全涵盖多阶段的流程（例如查看项目，将其添加到购物车中并进行结帐）将需要更多的啤酒花。

一些应用程序包含非常长的导航序列，这些序列不会导致有趣的不同功能。例如，购物应用程序可能具有大量产品类别，子类别和查看过滤器。对于爬行者来说，这可以作为非常深的链接树显示，所有链接都返回不同的内容。在这种情况下，显然会减少深入导航结构的回报，因此明智地将最大链接深度限制在少量数字（例如8）中是明智的。

爬网策略

现实世界的应用程序在组织内容和导航的方式，响应的波动以及应用状态的程度和复杂性方面差异很大。在一个极端情况下，应用程序可能会为每个不同功能使用独特且稳定的URL，在每个响应中返回确定性内容，并且不包含服务器端状态。在另一个极端情况下，应用程序可能会采用短暂的URL，每次访问函数时都会更改的短暂URL，通过不同的导航路径达到不同函数的过载URL，挥发性的内容，无确切地变化的挥发性内容以及用户行动引起变化的严重状态函数随后观察到的内容和行为。

Burp的爬行者可以处理这两个极端。在需要的情况下，它可以处理短暂和超载URL，，，，挥发性内容， 和应用状态的变化。但是，充分处理这些案例会在爬网所涉及的工作数量中施加材料开销。您可以使用爬网策略设置来调整所采用的特定应用程序的方法。实际上，此设置代表了爬网速度与实现的覆盖范围的完整性之间的权衡。默认策略代表适合典型应用程序之间的速度和覆盖范围之间的权衡。您可以在爬行具有更稳定和独特的URL的应用程序时选择更优化速度的策略，并且没有状态功能。或者，您可以选择一种更优化完整性的策略，当爬行具有挥发性或过载的URL或更复杂的状态功能的应用程序时。

“最快”爬网策略

请注意，Burp Scanner的“最快”爬网策略与其他可用策略的不同，以某些重要方式不同：

• 爬虫没有试图重置和复制目标应用程序的状态，而是直接请求页面，而不是从根目录中导航路径。
• 与其他策略不同，爬虫使用了饼干罐作为初始值。如果要执行身份验证的爬网，则应在爬网之前使用Burp的浏览器对应用程序进行身份验证。如果您不希望爬网验证，请在爬网之前登录应用程序。
• 爬网将不会尝试注册新用户。
• 当首先发现潜在的登录表格而不是在单独的阶段时，尝试了身份验证。如果提供了凭据，则仅使用第一组。

爬网极限

由于状态功能，波动性含量和无限的导航，有时爬行现代应用有时是开放式练习。Burp的爬行者使用各种技术来最大程度地发现爬网中的独特内容。爬网限制的设置使您对爬网的程度施加限制，因为它达到了回报的降低。根据您对所扫描应用程序的了解，将限制配置为爬网范围的限制通常是明智的。

您可以根据以下方式选择限制爬网：

• 花费的时间。
• 发现的独特位置数量。位置代表基于所选的内容或功能的独特单位爬网策略。
• 提出的HTTP请求数量。

登录功能

这些设置控制爬网将如何与爬网期间遇到的任何登录功能相互作用。您可以配置爬虫是否应该：

• 尝试在目标网站上自动注册新用户 - 这可以消除在爬网之前手动设置用户帐户的需求。beplay体育能用吗请注意，您仍然可以提供有效的应用程序登录如果需要，在扫描启动器设置中。
• 故意使用无效的用户名触发登录失败 - 这对于仅在提交无效凭据时才能访问的帐户恢复功能很有用。请注意，该攻击者不会故意为您提供的任何用户名提交无效的密码应用程序登录。这是为了避免触发这些帐户上的任何帐户锁定功能。

爬虫如何识别登录和注册表格？

爬虫使用以下清单来识别目标站点上的登录名和注册表格：

• 该表格是标准HTML表格。
• 它包含带有属性的输入字段类型=密码。
• 密码字段有一个非空字段姓名属性。

如果满足所有这些标准，则将搜寻器通过按顺序应用以下规则来区分注册表格与登录表格。例如，如果两种形式具有相等数量的密码字段，则将比较文本字段的数量，依此类推。

注册表的表格最多：

1. 密码字段
2. 文本字段
3. 多值选择字段
4. 单值选择字段
5. 如果以上所有内容都是相等的，则首先假定为注册表格。

为什么爬行者不填写我的登录表格？

爬虫根据密码字段标识登录名和注册表格。但是，如果相关字段：

• 具有属性type =电子邮件或者类型=文本
• 有一个非空的姓名属性

如果未满足这些条件中的任何一个，则爬网将成功识别表单，但无法正确输入相应的数据。

爬网期间处理申请错误

这些设置控制着如何打扫描仪处理应用程序错误（连接故障和传输超时）在扫描的爬网阶段出现。

您可以配置以下选项：

• 在暂停任务之前，连续的定时请求数量或定时请求的总体百分比。
• 爬网完成后执行的后续通过数量，以重试定时出现。

您可以将任何设置空白禁用。

其他爬网设置

这些设置可让您自定义爬网的一些细节：

• 提交表格- 此设置控制是否提交表格。
• 自定义用户代理- 此设置使您可以指定自定义的用户代理标头。
• 请求机器人文件- 此设置控制是否获取robots.txt文件并从中提取链接。
• 请求网站图- 此设置控制是否获取sitemap.xml文件并从中提取链接。您可以配置要提取的最大项目数量。
• 在评论和JavaScript中关注隐藏的链接- 此设置控制是否在页面导航中不可见的URL解析HTML注释和JavaScript。您可以配置要提取的最大项目数量。
• 解析API定义- 此设置控制轨道是否试图解析其遇到的任何API定义以识别扫描的潜在终点。有关更多信息，请参考API扫描文档。
• 应用程序使用片段进行路由- 单页应用程序（SPA）通常使用URL片段进行客户端路由。这使他们能够显示几个不同页面的内容，而无需浏览器向服务器提出其他请求。Burp扫描仪需要知道目标应用程序是否以这种方式使用片段以有效地爬网。默认情况下，如果片段包含以下任何字符，则爬网假设它用于客户端路由：/ \？=＆。但是，如果您愿意，可以使用此设置手动控制此设置。

Burp的浏览器选项

这些设置让您控制Burp的浏览器：

• 使用Burp的浏览器进行爬网和审计- 此设置控制BURP扫描仪是否使用Burp的浏览器来浏览目标站点。我们经常将其称为浏览器驱动扫描。

  默认情况下，如果您的计算机似乎满足所需的规格，则BURP扫描仪使用Burp的浏览器，但是您可以强迫它始终使用浏览器。我们建议至少一台机器2个CPU核心和8 GB RAM。另外，您可以选择完全禁用浏览器驱动的扫描。在这种情况下，Burp扫描仪将使用旧式爬行引擎。

• 获取来自范围内主机的所需资源和数据- 此设置控制攻击者是否会在必要时向副主机发出请求。由于网beplay体育能用吗站通常要求浏览器加载外部托管的子资源或从API获取数据以正确功能，因此允许这些请求有助于最大程度地覆盖扫描。请注意，将不审核由爬行者提出的范围内请求。

• 阅读网站资源的超时- 此设置决定了在爬网期间尝试加载子资源时，BURP扫描仪将在毫秒内等待多长时间。

• 在头部浏览器中显示爬网- 默认情况下，Burp扫描仪使用无头浏览器进行爬行。如果启用此设置，则在扫描开始时，将打开一个新的浏览器窗口，您可以在该窗口上观看围绕目标网站导航的轨道。beplay体育能用吗这对于故障排除可能很有用。