使用 HCL AppScan Traffic Recorder 在 AppScan® Enterprise 中测试自动化

您可以借助 AppScan 流量记录器在 AppScan Enterprise (ASE) 作业中记录流量以用作探索数据。AppScan 流量记录器是用于管理流量记录器实例的系统。可按需创建流量记录器实例，以记录稍后将用于 DAST 扫描的流量。本主题介绍如何设置和使用 Traffic Recorder。

概述

在 DevOps 领域中，越来越需要能够在 CI/CD 流程中合并安全性扫描。如果您使用自动化框架（例如 Selenium），则可以利用已编写的脚本来创建定制扫描。
  • 使用 AppScan 流量记录器，可以自动启动一个流量记录器实例。然后，从自动框架到 Web 应用程序的请求将在发送时由此流量记录器进行记录。流量以 HAR 格式保存在 .dast.config 文件中，您稍后可以上传该文件以供 AppScan Enterprise (ASE) 用作扫描的探索数据。
  • 您还可以通过 Traffic Recorder 手动记录流量，以创建 .dast.config 文件。
  • 您也可以直接将自己的 HAR 文件上载到 ASE，而不使用流量记录器。

此图描述了 AppScan Enterprise 的自动扫描流程®。


使用 AppScan Enterprise 进行的自动扫描流程

典型工作流程

  1. 安装 Traffic Recorder
  2. 配置 Traffic Recorder
  3. 启动 Traffic Recorder
  4. 使用流量记录器
注： 此工作流程的演示脚本 ProxyServerDemoScript.py 可以在 AppScan 安装文件夹中找到。

安装 AppScan 流量记录器

先决条件：您的计算机上必须安装当前版本的 Node.js（v16 或更高版本的 LTS 版本）。如果您的服务符合 FIPS，则必须使用符合 FIPS 的 Node.js 服务器。

  1. Windows：将 TrafficRecorder.Windows.zip 解压缩到计算机上的文件夹中。

    Linux：解压缩 TrafficRecorder.Linux.zip

  2. 要覆盖运行 Traffic Recorder 的默认端口： 在 Settings.json 中配置端口设置。
  3. 确保 app.js 和内部 java 文件：/java/bin/java 具有“作为可执行文件运行”权限。

配置 AppScan 流量记录器

进行任何配置更改后，必须重新启动服务器。
注： 升级时，如果已在 Settings.json 中设置了 PKCS12 证书，您需要再次设置该证书。

符合 FIPS 的模式

  1. 在 Traffic Recorder 的根文件夹中找到文件 Settings.json，并在文本编辑器中将其打开。
  2. 找到设置 requireFips 并将其值从 false 更改为 true。
  3. 保存文件。

流量记录器连接

  1. 在 Settings.json 中配置运行 Traffic Recorder 的默认端口。
  2. 配置与流量记录器的安全 (SSL) 连接。您可以使用您自己的证书（方法 A）或自签名证书（方法 B）来执行此操作。

    方法 A：在 Settings.json 中配置您自己的 PEM 或 PKCS12 证书。

    PEM：

    PEM 证书需要两个文件路径（private.key 和certificate.pem）。
    • 将文件路径插入到 Settings.json 的 PEM 部分。
      注： “\”字符需要转义，例如：“C:\\Users\\admin\\private.key”

    PKCS12：

    您必须根据需要对文件路径和密码中的字符进行转义，例如 abc!”123 等密码将变为 abc!\”123（” 符号已转义）。
    1. 在命令行中，运行：

      .\Java\bin\java.exe -jar .\DastProxy.jar -sc "C:\Path\to\certificate.pfx"

    2. 出现提示时，输入证书的密码并按 Enter 键。

      一个通过使用 openssl 创建 PEM 证书的示例：

      openssl req -newkey rsa:2048 -new -nodes -keyout key.pem -out csr.pem

      openssl x509 -req -days 365 -in csr.pem -signkey key.pem -out server.crt

      一个通过使用 openssl 将 PEM 证书转换为 PKCS12 证书的示例：

      openssl pkcs12 -export -out certificate.pfx -inkey key.pem -in server.crt

      一个通过使用 Java 的 keygen 工具将 JKS 证书转换为 PKCS12 证书的示例：

      keytool -importkeystore -srckeystore certificate.jks -srcstoretype JKS -destkeystore certificate.p12 -deststoretype PKCS12

    方法 B：如果您没有证书，则必须创建并使用自签名证书。请注意，此方法不太安全。

    选项 A：使用 OpenSSL

    OpenSSL 不包含在内，也不需要，除非是为了创建自签名证书。

    1. 使用 OpenSSL 命令创建密钥和 pem 文件：openssl req -new -newkey rsa:2048 -nodes -keyout private.key -x509 -days 365 -out certificate.pem
    2. 将文件路径插入到 Settings.json 的 PEM 部分。
      注： “\”字符需要转义，例如：“C:\\Users\\admin\\private.key”。

    选项 B：使用 Java keytool

    对于 NodeJS 17 和更高版本，由于 keytool 限制，您必须使用 “--openssl-legacy-provider” 节点标志，请参阅https://nodejs.org/api/cli.html#--openssl-legacy-provider

    1. 在命令行中，打开流量记录器根文件夹。
    2. 使用以下命令创建 PKCS12 证书文件：.\Java\bin\keytool -genkey -keyalg RSA -alias selfsigned -keystore keystore-new.p12 -storetype PKCS12 -validity 365 -keysize 2048
    3. 填写证书详细信息并使用密码保护它，下一步将需要该密码。
    4. 使用以下命令在 HCL AppScan Traffic Recorder 中使用生成的证书：.\Java\bin\java.exe -jar .\DastProxy.jar -sc "keystore-new.p12"

根证书

如果您测试的应用程序使用的是 SSL (HTTPS)，则 AppScan 流量记录器必须作为中间人来记录交流。为此，它必须具有根证书，以使用该证书对其与应用程序的通信进行签名。

缺省情况下，AppScan 流量记录器会生成一个唯一的根证书，无需用户干预。但是，在浏览应用程序时，您将收到 SSL 警告。可以忽略它们，也可以执行下列其中一项操作：
  1. 在您的机器上安装 AppScan 流量记录器生成的证书：
    1. 使用 REST API 下载由 AppScan 流量记录器使用的自签名根认证中心作为 PEM 文件。
    2. 在用于“浏览”的浏览器上安装证书，或在需要的位置（取决于流量的来源）进行安装。
  2. 将您自己的根证书导入 AppScan 流量记录器。受支持的证书格式为 PKCS12（.P12、.PFX）、JKS：
    1. 打开命令行窗口，导航到流量记录器机器上的安装文件夹。
    2. 运行以下命令：

      .\Java\bin\java -jar DastProxy.jar -irc [path to certificate file] -ircp [password]

      注： 要查看完整的命令用法，请运行 .\Java\bin\java -jar DastProxy.jar 命令。

      重要说明：由于证书将保存在 Traffic Recorder 上，因此建议您使用专用测试证书。

  3. 在 StartProxy 命令中提供您自己的修订服务器证书（而不是根证书）。

设置不活动超时

如果在使用后未使用关闭命令关闭流量记录器实例，则该流量记录器实例将保持打开状态并在端口上侦听。如果流量记录器实例处于闲置状态达到预定义的时间，则会自动关闭。

Traffic Recorder 实例的默认不活动超时为 60 分钟。通过更改安装文件夹中保存的 Settings.json 文件中的 inactivityTimeoutInMinutes 的值，可以更改此值。

流量加密

默认情况下，流量 (.dast.config) 文件未加密。要将服务器配置为加密所有流量，请将安装文件夹中的 Settings.json 文件中的 "encryptDastConfig" 值更改为 "true"。

链式代理

如果您需要定义多个链式代理或代理的例外，请使用安装文件夹中的链式代理规则文件 (proxy.chain)。文件包含使用说明。

启动/停止流量记录器

您只需启动流量记录器，或将其作为一项服务运行（如下）。请注意，不能并行执行这两种操作。

要启动流量记录器，请执行以下操作：
  • 运行命令：node app.js [port]

    其中，*port = Traffic Recorder 侦听 REST API 请求的端口。

注：
  • 如果启动 Traffic Recorder 时未定义端口，则使用在 Settings.json 文件中设置的端口；如果未定义任何端口，则使用端口 8383。
  • 无需停止流量记录器。您可以任其永久运行。

作为 Windows 服务启动

使用 Service 文件夹中的 service.js 可执行文件，可将 Traffic Recorder 作为一项 Windows 服务来运行。服务将使用本地系统权限。
注： 所有服务命令都必须以管理员权限运行（以管理员身份运行）。

要启动此服务，请运行以下命令：

node service.js --install

node service.js --start

其他服务命令

您可以通过运行命令 node service.js --help 打印此列表

服务命令 描述
--start 启动服务
--stop 停止服务
--install 安装服务
--uninstall 停止并卸载服务
--h | --help 输出使用信息

停止 Windows 服务

要使用“Service”文件夹中的 service.js 可执行文件来停止流量记录器 Windows 服务，请运行以下命令：

node service.js --uninstall

使用 systemd 作为 Linux 服务启动

  1. 在 systemd 目录（通常为：/etc/systemd/system）下创建新文件。例如，sudo vim /etc/systemd/system/TrafficRecorder.service。

    文件内容：

    [Unit]

    Description=Appscan TrafficRecorder

    After=multi-user.target

    [Service]

    ExecStart=[path to node here] [path to app.js here]

    Restart=always

    RestartSec=10StandardOutput=syslog

    StandardError=syslog

    SyslogIdentifier=TrafficRecorder

    [Install]

    WantedBy=multi-user.target

    ExecStart 示例：ExecStart= node /home/admin/Documents/TrafficRecorder.Linux.1.2.0/app.js

  2. 使用以下命令重新加载 systemd 文件：sudo systemctl daemon-reload
  3. 使用以下命令启动服务：sudo systemctl start TrafficRecorder.service
  4. 您可以使用以下命令检查状态：sudo systemctl status TrafficRecorder.service
    注： 状态应显示为“Active: active (running)”
  5. 使用以下命令启用服务：sudo systemctl enable TrafficRecorder.service

停止 Linux 服务

  1. 使用以下命令停止服务：sudo systemctl stop TrafficRecorder.service
  2. 使用以下命令禁用服务：sudo systemctl disable TrafficRecorder.service

使用流量记录器

流量记录器启动后，您可以启动新的流量记录器实例，以记录您的应用程序的流量。

  1. 要启动 Traffic Recorder 实例，请使用 REST API 请求：StartProxy
  2. 通过已定义的流量记录器端口将流量发送到要测试的应用程序。
  3. 完成后，发送 REST API 请求：StopProxy。
  4. 下载包含所记录流量的 .dast.config 文件，方法是发送 REST API 请求：Traffic。该文件是一个 ZIP 文件，包含一个或多个 .har（HTTP 存档）文件。下载此文件时，会从 AppScan 流量记录器删除数据。
  5. 您可以借助 ASE REST API 使用 .dast.config 文件来更新现有作业的“浏览”数据。请参阅文档链接：https://<domain>:9443/ase/api/pages/apidocs.html。有关详细信息，请参阅 Traffic Recorder API 命令部分。

流量记录器 API 命令

流量记录器启动后，您可以启动流量记录器实例，并将流量发送到应用程序。

文档

要在 Swagger 中查看完整的 REST API 文档，请在浏览器中键入：https://<server>:<port>

所有命令都指向如下所示的端点：

https://[server]:[port]/automation/

server = 安装 Traffic Recorder 的计算机的 IP 地址（默认为 localhost）

port = Traffic Recorder 侦听的端口

"StartProxy"

启动在指定端口上进行侦听的流量记录器实例。
  • URL：https://[server]:[port]/automation/StartProxy/<recordingPort>
  • 请求类型：POST 或 GET（如果使用 chainedProxy、proxyCertificate 和 clientCertificate，则请求是 POST；否则为 GET）

"StopProxy"

停止正在指定端口上进行侦听的流量记录器实例。
  • URL：https://[server]:[port]/automation/StopProxy/<recordingPort>
  • 请求类型：GET
注： 将端口设置为 0 不会停止所有打开的 Traffic Recorder 实例。使用 StopAllProxies 来执行此操作。

"StopAllProxies"

停止所有正在运行的流量记录器实例。此命令将停止所有端口上的所有流量记录器实例，包括其他用户启动的流量记录器实例。

  • URL：https://[server]:[port]/automation/StopAllProxies
  • 请求类型：POST

"EncryptDastConfig"

上传 DAST.CONFIG 文件进行加密。
  • URL：https://[server]:[port]/automation/EncryptDastConfig
  • 请求类型：POST

"DownloadEncryptedDast"

下载加密的 .dast.config 文件（使用 EncryptDastConfig API 上传）。
注： 下载文件后，会从 Traffice Recorder 中删除加密和未加密的 .dast.config 文件。
  • URL：https://[server]:[port]/automation/DownloadEncryptedDastConfig/<uuid>
  • 请求类型：GET

"Traffic"

从以其端口标识的 Traffice Recorder 下载记录的数据作为 .dast.config 文件。
  • URL：https://[server]:[port]/automation/Traffic/<recordingPort>
  • 请求类型：GET

"Certificate"

下载由流量记录器使用的自签名根证书认证中心作为 PEM 文件。
  • URL：https://[server]:[port]/automation/Certificate
  • 请求类型：GET