在原生生态系统中进行测试是一个内容丰富的课题。有许多不同的测试库和框架,以及许多不同的测试类型。所有这些都需要成为构建的一部分,无论它们是频繁执行还是不频繁执行。本章致力于解释 Gradle 如何处理构建之间和构建内部的不同需求,并重点介绍它如何在 macOS 和 Linux 上与 XCTest 集成。

它解释了: - 控制测试运行方式的方法(测试执行) - 如何选择要运行的特定测试(测试过滤) - 生成哪些测试报告以及如何影响该过程(测试报告) - Gradle 如何查找要运行的测试(测试检测)

但首先,我们来看一下 Gradle 中原生测试的基础知识。

基础知识

Gradle 支持与 Swift 语言的 XCTest 测试框架深度集成,并围绕 XCTest 任务类型展开。这使用 macOS 上的 Xcode XCTest 或 Linux 上的 开源 Swift 核心库替代方案 运行一系列测试用例,并整理结果。然后,您可以借助 TestReport 任务类型的实例将这些结果转换为报告。

为了运行,XCTest 任务类型需要三个信息: - 在哪里找到构建的可测试 bundle(在 macOS 上)或可执行文件(在 Linux 上)(属性:XCTest.getTestInstalledDirectory()) - 用于执行 bundle 或可执行文件的运行脚本(属性:XCTest.getRunScriptFile()) - 执行 bundle 或可执行文件的工作目录(属性:XCTest.getWorkingDirectory()

当您使用 XCTest 插件 时,您将自动获得以下内容: - 类型为 SwiftXCTestSuite 的专用 xctest 扩展,用于配置测试组件及其变体 - 类型为 XCTestxcTest 任务,用于运行这些单元测试 - 与主组件的目标文件链接的可测试 bundle 或可执行文件

测试插件会适当地配置所需的信息。此外,它们还将 xcTestrun 任务附加到 check 生命周期任务。它还会创建 testImplementation 依赖配置。仅测试编译、链接和运行时需要的依赖项可以添加到此配置中。xctest 脚本块的行为类似于 applicationlibrary 脚本块。

XCTest 任务有许多配置选项。我们将在本章的其余部分介绍其中的许多选项。

测试执行

Gradle 在单独的(“forked”)进程中执行测试。

您可以通过 XCTest 任务上的多个属性来控制测试进程的启动方式,包括以下属性

ignoreFailures - 默认值:false

如果此属性为 true,则即使某些测试失败,Gradle 也会在测试完成后继续项目的构建。请注意,默认情况下,两种任务类型始终执行其检测到的每个测试,而与此设置无关。

testLogging - 默认值:未设置

此属性表示一组选项,用于控制记录哪些测试事件以及在哪个级别记录。您还可以通过此属性配置其他日志记录行为。有关更多详细信息,请参阅 TestLoggingContainer

有关所有可用配置选项的详细信息,请参阅 XCTest

测试过滤

运行测试套件的子集是一种常见需求,例如当您修复错误或开发新的测试用例时。Gradle 提供了过滤功能来实现此目的。您可以根据以下内容选择要运行的测试

  • 简单的类名或方法名,例如 SomeTestSomeTest.someMethod

  • “*”通配符匹配

您可以在构建脚本中或通过 --tests 命令行选项启用过滤。以下是在每次构建运行时应用的一些过滤器的示例

build.gradle.kts
xctest {
    binaries.configureEach {
        runTask.get().filter.includeTestsMatching("SomeIntegTest.*") // or `"Testing.SomeIntegTest.*"` on macOS
    }
}
build.gradle
xctest {
    binaries.configureEach {
        runTask.get().configure {
            // include all tests from test class
            filter.includeTestsMatching "SomeIntegTest.*" // or `"Testing.SomeIntegTest.*"` on macOS
        }
    }
}

有关在构建脚本中声明过滤器的更多详细信息和示例,请参阅 TestFilter 参考。

命令行选项对于执行单个测试方法尤其有用。也可以提供多个 --tests 选项,所有这些选项的模式都将生效。以下各节包含几个使用命令行选项的示例。

测试过滤目前仅支持 XCTest 兼容过滤器。这意味着相同的过滤器在 macOS 和 Linux 之间会有所不同。在 macOS 上,bundle 基本名称需要添加到过滤器前面,例如 TestBundle.SomeTestTestBundle.SomeTest.someMethod。有关有效过滤模式的更多信息,请参阅下面的 简单名称模式 部分。

以下部分着眼于简单类/方法名称的特定情况。

简单名称模式

Gradle 支持简单的类名或类名 + 方法名测试过滤。例如,以下命令行运行 SomeTestClass 测试用例中的所有测试或仅运行其中一个测试

# Executes all tests in SomeTestClass
gradle xcTest --tests SomeTestClass
# or `gradle xcTest --tests TestBundle.SomeTestClass` on macOS

# Executes a single specified test in SomeTestClass
gradle xcTest --tests TestBundle.SomeTestClass.someSpecificMethod
# or `gradle xcTest --tests TestBundle.SomeTestClass.someSpecificMethod` on macOS

您还可以将命令行中定义的过滤器与 持续构建 结合使用,以便在每次更改生产或测试源文件后立即重新执行测试子集。以下命令在每次更改触发测试运行时执行“SomeTestClass”测试类中的所有测试

gradle test --continuous --tests SomeTestClass

测试报告

XCTest 任务默认生成以下结果

  • HTML 测试报告

  • XML 测试结果,格式与 Ant JUnit 报告任务兼容 - 许多其他工具(例如 CI 服务器)都支持此格式

  • XCTest 任务用于生成其他格式的结果的有效二进制格式

在大多数情况下,您将使用标准 HTML 报告,该报告会自动包含 XCTest 任务的结果。

还有一个独立的 TestReport 任务类型,您可以使用它来生成自定义 HTML 测试报告。它只需要 destinationDir 的值以及您要包含在报告中的测试结果。这是一个示例,它为所有子项目的单元测试生成组合报告

buildSrc/src/main/kotlin/myproject.xctest-conventions.gradle.kts
plugins {
    id("xctest")
}

extensions.configure<SwiftXCTestSuite>() {
    binaries.configureEach {
        // Disable the test report for the individual test task
        runTask.get().reports.html.required = false
    }
}

configurations.create("binaryTestResultsElements") {
    isCanBeResolved = false
    isCanBeConsumed = true
    attributes {
        attribute(Category.CATEGORY_ATTRIBUTE, objects.named(Category.DOCUMENTATION))
        attribute(DocsType.DOCS_TYPE_ATTRIBUTE, objects.named("test-report-data"))
    }
    tasks.withType<XCTest>() {
        outgoing.artifact(binaryResultsDirectory)
    }
}
build.gradle.kts
plugins {
    `reporting-base`
}

val testReportData by configurations.creating {
    isCanBeConsumed = false
    attributes {
        attribute(Category.CATEGORY_ATTRIBUTE, objects.named(Category.DOCUMENTATION))
        attribute(DocsType.DOCS_TYPE_ATTRIBUTE, objects.named("test-report-data"))
    }
}

dependencies {
    testReportData(project(":core"))
    testReportData(project(":util"))
}

tasks.register<TestReport>("testReport") {
    destinationDirectory = reporting.baseDirectory.dir("allTests")
    // Use test results from testReportData configuration
    testResults.from(testReportData)
}
buildSrc/src/main/groovy/myproject.xctest-conventions.gradle
plugins {
    id 'xctest'
}

xctest {
    binaries.configureEach {
        runTask.get().configure {
            // Disable the test report for the individual test task
            reports.html.required = false
        }
    }
}

// Share the test report data to be aggregated for the whole project
configurations {
    binaryTestResultsElements {
        canBeResolved = false
        attributes {
            attribute(Category.CATEGORY_ATTRIBUTE, objects.named(Category, Category.DOCUMENTATION))
            attribute(DocsType.DOCS_TYPE_ATTRIBUTE, objects.named(DocsType, 'test-report-data'))
        }
        tasks.withType(XCTest).configureEach {
            outgoing.artifact(it.binaryResultsDirectory)
        }
    }
}
build.gradle
// A resolvable configuration to collect test reports data
plugins {
    id 'reporting-base'
}

configurations {
    testReportData {
        canBeConsumed = false
        attributes {
            attribute(Category.CATEGORY_ATTRIBUTE, objects.named(Category, Category.DOCUMENTATION))
            attribute(DocsType.DOCS_TYPE_ATTRIBUTE, objects.named(DocsType, 'test-report-data'))
        }
    }
}

dependencies {
    testReportData project(':core')
    testReportData project(':util')
}

tasks.register('testReport', TestReport) {
    destinationDirectory = reporting.baseDirectory.dir('allTests')
    // Use test results from testReportData configuration
    testResults.from(configurations.testReportData)
}

在此示例中,我们使用约定插件 myproject.xctest-conventions 将项目的测试结果暴露给 Gradle 的 变体感知依赖管理引擎

该插件声明了一个可消费的 binaryTestResultsElements 配置,该配置表示 test 任务的二进制测试结果。在聚合项目的构建文件中,我们声明 testReportData 配置,并依赖于我们要聚合结果的所有项目。Gradle 将自动从每个子项目中选择二进制测试结果变体,而不是项目的 jar 文件。最后,我们添加一个 testReport 任务,该任务聚合来自 testResultsDirs 属性的测试结果,该属性包含从 testReportData 配置解析的所有二进制测试结果。

您应该注意,TestReport 类型结合了来自多个测试任务的结果,并且需要聚合各个测试类的结果。这意味着,如果给定的测试类由多个测试任务执行,则测试报告将包含该类的执行,但可能很难区分该类的各个执行及其输出。