TestNG报告中的自定义测试方法名称

2022-09-01 21:02:04

我正在开发一个项目,我需要以编程方式调用TestNG(使用数据提供程序)。一切都很好,除了在报告中,我们得到了@Test方法的名称,这是处理许多情况的通用方法。我们希望在报告中得到一个有意义的名称。

我正在研究这个问题,并找到了3种方法,但不幸的是,对我来说,所有这些都失败了。

1) 实施 ITest

我在这里和这里发现了这个

一旦我输入@Test方法,我就设置我想要的名字(对于我尝试过的所有3种方式,这就是我设置名称的方式)。此名称从 getTestName() 返回。我观察到的是getTestName()在我@Test之前和之后被调用。最初,它返回null(为了处理NullPointerException,我返回“”而不是null),后来它返回正确的值。但我没有看到这反映在报告中

编辑:还尝试按照artdanil的建议设置名称from@BeforeMethod

2 和 3

两者都基于上面第二个链接中给出的解决方案

通过在XmlSuite中重写setName,我得到了

Exception in thread "main" java.lang.AssertionError: l should not be null
        at org.testng.ClassMethodMap.removeAndCheckIfLast(ClassMethodMap.java:58)
        at org.testng.internal.TestMethodWorker.invokeAfterClassMethods(TestMethodWorker.java:208)
        at org.testng.internal.TestMethodWorker.run(TestMethodWorker.java:114)
        at org.testng.TestRunner.privateRun(TestRunner.java:767)
        ...

通过覆盖string(),我在日志中看到这些(带有我的注释),但在报告中没有更新

[2013-03-05 14:53:22,174] (Main.java:30) - calling execute 
    [2013-03-05 14:53:22,346] GenericFunctionTest.<init>(GenericFunctionTest.java:52) - inside constructor
    [2013-03-05 14:53:22,372] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning **//this followed by 3 invocations before arriving at @Test method**
    [2013-03-05 14:53:22,410] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning 
    [2013-03-05 14:53:22,416] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning 
    [2013-03-05 14:53:22,455] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning 
    [2013-03-05 14:53:22,892] GenericFunctionTest.<init>(GenericFunctionTest.java:52) - inside constructor 
    [2013-03-05 14:53:23,178] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning **//again blank as i havent set it yet**
    [2013-03-05 14:53:23,182] GenericFunctionTest.getResult(GenericFunctionTest.java:69) - inside with test case:TestCase{signature=Signature{...}}**//I am setting it immedietely after this**
    [2013-03-05 14:53:23,293] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning MyMethodName **//What i want**
    [2013-03-05 14:53:23,299] GenericFunctionTest.toString(GenericFunctionTest.java:276) - returning MyMethodName **// again**

编辑:通过硬编码值而不是在我的测试方法的输入中设置它来再次尝试所有3。但结果相同


答案 1

我遇到了同样的问题,并发现在注释的方法中设置字段存储测试用例名称很有帮助,使用TestNG的本机注入来提供方法名称和测试参数。测试名称取自 提供的测试参数。如果您的测试方法没有参数,只需报告方法名称。@BeforeMethodDataProvider

//oversimplified for demontration purposes
public class TestParameters {
    private String testName = null;
    private String testDescription = null;

    public TestParameters(String name,
                          String description) {
        this.testName = name;
        this.testDescription = description;
    }

    public String getTestName() {
        return testName;
    }
    public String getTestDescription() {
        return testDescription;
    }
}

public class SampleTest implements ITest {
    // Has to be set to prevent NullPointerException from reporters
    protected String mTestCaseName = "";

    @DataProvider(name="BasicDataProvider")
    public Object[][] getTestData() {
        Object[][] data = new Object[][] {
                { new TestParameters("TestCase1", "Sample test 1")},
                { new TestParameters("TestCase2", "Sample test 2")},
                { new TestParameters("TestCase3", "Sample test 3")},
                { new TestParameters("TestCase4", "Sample test 4")},
                { new TestParameters("TestCase5", "Sample test 5") }
        };
        return data;
    }

    @BeforeMethod(alwaysRun = true)
    public void testData(Method method, Object[] testData) {
        String testCase = "";
        if (testData != null && testData.length > 0) {
            TestParameters testParams = null;
            //Check if test method has actually received required parameters
            for (Object testParameter : testData) {
                if (testParameter instanceof TestParameters) {
                    testParams = (TestParameters)testParameter;
                    break;
                }
            }
            if (testParams != null) {
                testCase = testParams.getTestName();
            }
        }
        this.mTestCaseName = String.format("%s(%s)", method.getName(), testCase);
    }

    @Override
    public String getTestName() {
        return this.mTestCaseName;
    }

    @Test(dataProvider="BasicDataProvider")
    public void testSample1(TestParameters testParams){
        //test code here
    }

    @Test(dataProvider="BasicDataProvider")
    public void testSample2(TestParameters testParams){
        //test code here
    }

    @Test
    public void testSample3(){
        //test code here
    }
}

编辑:根据下面的评论,我意识到报告中的样本将是有用的。

从上面的运行代码中提取报告:

<testng-results skipped="0" failed="0" total="5" passed="5">
  <suite name="SampleTests" duration-ms="2818" started-at="<some-time>" finished-at="<some-time>">
    <test name="Test1" duration-ms="2818" started-at="<some-time>" finished-at="<some-time>">
        <test-method 
            status="PASS" 
            signature="testSample1(org.example.test.TestParameters)[pri:0, instance:org.example.test.TimeTest@c9d92c]"
            test-instance-name="testSample1(TestCase5)"
            name="testSample1" 
            duration-ms="1014"
            started-at="<some-time-before>" 
            data-provider="BasicDataProvider" 
            finished-at="<some-time-later>" >
            <!-- excluded for demonstration purposes -->
        </test-method>
        <!-- the rest of test results excluded for brevity -->
    </test>
  </suite>
</testng-result>

请注意,从方法返回的值在属性中,而不是在属性中。getTestName()test-instance-namename


答案 2

我遇到了类似的问题。首先,我实施了已经提到的ITest策略。这是解决方案的一部分,但并不完全如此。

出于某种原因,TestNG 在构建不同的报告时,会在构建报告时在测试上调用 getName()。如果不使用数据访问接口生成不同的运行,并且使用 ITest 策略为每个运行设置唯一的名称,则这很好。如果使用数据访问接口生成同一测试的多个运行,并希望每个运行具有唯一的名称,则存在问题。由于 ITest 策略将测试的名称保留为上次运行设置的名称。

所以我必须实现一个非常自定义的getName()。SOme假设(在我的特定情况下):

  1. 只运行三个报告:TestHTMLReporter,EmailableReporter,XMLSuiteResultWriter。
  2. 如果由于某个假定的记者而未调用任何获取名称,则返回当前设置的名称是可以的。
  3. 当报告器运行时,它会按顺序进行 getName() 调用,并且每次运行仅调用 1 次。
public String getTestName()
{
    String name = testName;
    StackTraceElement[] stackTrace = Thread.currentThread().getStackTrace();//.toString();
    if(calledFrom(stackTrace, "XMLSuiteResultWriter"))
    {
        name = testNames.size()>0?testNames.get(xmlNameIndex<testNames.size()?xmlNameIndex:0):"undefined";
        xmlNameIndex++;
        if(xmlNameIndex>=testNames.size())
            xmlNameIndex = 0;
    }
    else if(calledFrom(stackTrace, "EmailableReporter"))
    {
        name = testNames.size()>0?testNames.get(emailNameIndex<testNames.size()?emailNameIndex:0):"undefined";
        emailNameIndex++;
        if(emailNameIndex>=testNames.size())
            emailNameIndex = 0;
    }
    if(calledFrom(stackTrace, "TestHTMLReporter"))
    {
        if(testNames.size()<0)
        {
            name = "undefined";
        }
        else
        {
            if(htmlNameIndex < testNamesFailed.size())
            {
                name = testNamesFailed.get(htmlNameIndex);
            }
            else
            {
                int htmlPassedIndex = htmlNameIndex - testNamesFailed.size();
                if(htmlPassedIndex < testNamesPassed.size())
                {
                    name = testNamesPassed.get(htmlPassedIndex);
                }
                else
                {
                    name = "undefined";
                }
            }
        }
        htmlNameIndex++;
        if(htmlNameIndex>=testNames.size())
            htmlNameIndex = 0;
    }
    return name;
}

private boolean calledFrom(StackTraceElement[] stackTrace, String checkForMethod)
{
    boolean calledFrom = false;
    for(StackTraceElement element : stackTrace)
    {
        String stack = element.toString();
        if(stack.contains(checkForMethod))
            calledFrom = true;
    }
    return calledFrom;
}

在设置运行名称时(我在按照 ITest 策略定义的 @BeforeMethod(alwaysRun=true) 方法中执行此操作),我将名称添加到 ArrayList testNames 中。但是,html报告是不正确的。大多数其他报告(如 XMLSuiteResultWriter)都会按顺序提取信息,但 TestHTMLReporter 通过首先获取失败测试的所有名称,然后获取通过测试的名称来获取名称。因此,我必须实现其他 ArrayList:testNamesFailed 和 testNamesPassed,并在测试完成时根据它们是否通过而将测试名称添加到它们。

我愿意承认,这在很大程度上是一个黑客攻击,非常脆弱。理想情况下,TestNG 在运行时将测试添加到集合中,并从该集合而不是从原始测试中获取名称。如果您让TestNG运行其他报告,则必须弄清楚他们请求名称的顺序,以及什么是在线程堆栈跟踪中搜索的唯一字符串。

--编辑 1

或者,使用 ITest 策略和工厂模式(@factory注释)。

使用@Factory和@DataProvider的 TestNG

http://beust.com/weblog/2004/09/27/testngs-factory/

它确实需要一些小的更改。这包括使用与原始测试方法相同的参数创建构造函数。测试方法现在没有参数。您可以在新构造函数中设置名称,只需在 getTestName 方法中返回该名称即可。确保从测试方法中删除数据提供程序规范。


推荐