Maven JUnit5 Tests werden ignoriert

[Hein_nieH]

Hallo Fans der Bits und Bytes,

ich stehe wieder einmal vor einem Problem.
Ich möchte ein paar Tests mit JUnit5 durchführen.
Die TestSuite funktioniert und lässt sich von Eclipse auch problemlos ausführen.

Da ich als Buildtool jenkins bevorzuge und mir somit eine pom.xml bauen muss gibt es Probleme.
Die Tests werden in der erzeugten Datei **/target/surefire-report/xyztest.xml nicht angezeigt.

meine pom.xml sieht so aus:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
  <groupId>Wiki_Wandler</groupId>
  <artifactId>Wiki_Wandler</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

    <name>Wiki_Wandler</name>
    <description>
        Build des Projektes Wiki_Wandler in Jenkins
    </description>
    <organization>
        <name>ich</name>
    </organization>

    <properties>
        <project.build.sourceEncoding>Cp1252</project.build.sourceEncoding>
        <project.reporting.outputEncoding>Cp1252</project.reporting.outputEncoding>
        <java.version>8</java.version>
    </properties>

    <!-- Anpassung des Standard-Build-Prozesses -->
    <build>
        <!-- Anpassung des Build prozesses -->
        <plugins>
            <!-- Konfiguration des surefire-Plugins anpassen -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>3.0.0-M1</version>
                <configuration>
                    <testFailureIgnore>true</testFailureIgnore>
                    <formats>
                        <format>xml</format>
                        <format>html</format>
                    </formats>
                </configuration>
            </plugin>

            <!-- Konfiguration des maven-compiler-Plugins anpassen -->
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.0</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                    <release>${java.version}</release>
                    <compilerArgument>-Xlint:all</compilerArgument>
                    <showWarnings>true</showWarnings>
                    <showDeprecation>true</showDeprecation>
                    <debug>true</debug>
                    <debuglevel>lines,vars,source</debuglevel>
                    <parameters>true</parameters>
                </configuration>
            </plugin>

            <!-- Konfiguration des maven-jar-Plugins anpassen -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>3.2.0</version>
                <configuration>
                    <!-- Verändert / Erweitert das default-Manifest -->
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <mainClass>main.MainClass</mainClass>
                        </manifest>
                    </archive>
                    <!-- Name der jar-Datei aendern -->
                    <finalName>Wiki_Wandler__Jenkins</finalName>
                    <!--  Ausgabeort für jar-Datei aendern -->
                      <outputDirectory>C:\Users\${user.name}\Documents\Programmierung_Java\EXPORT</outputDirectory>
                </configuration>
            </plugin>

            <!-- Konfiguration des jacoco-plugins anpassen -->
            <plugin>
                <groupId>org.jacoco</groupId>
                <artifactId>jacoco-maven-plugin</artifactId>
                <version>0.8.5</version>

                <executions>
                    <execution>
                        <id>pre-unit-test</id>
                        <goals>
                            <goal>prepare-agent</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>post-unit-test</id>
                        <phase>test</phase>
                        <goals>
                            <goal>report</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
           
            <!--  Konfiguration des surefire-plugins anpassen  -->    
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.21.0</version>
                <dependencies>
                    <dependency>
                        <groupId>org.junit.platform</groupId>
                        <artifactId>junit-platform-surefire-provider</artifactId>
                        <version>1.2.0</version>
                    </dependency>
                </dependencies>
            </plugin>

            <!-- checkstyle -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-checkstyle-plugin</artifactId>
                <version>3.1.1</version>
                <configuration>
                    <configLocation>my_google_checks_8_29.xml</configLocation>
                    <!-- <configLocation>google_checks.xml</configLocation> -->
                    <encoding>Cp1252</encoding>
                    <consoleOutput>true</consoleOutput>
                    <failsOnError>true</failsOnError>
                    <linkXRef>false</linkXRef>
                </configuration>
                <executions>
                    <execution>
                        <id>validate</id>
                        <phase>package</phase>
                        <goals>
                            <goal>check</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
           
            <!-- spotbugs -->
            <plugin>
                  <groupId>com.github.spotbugs</groupId>
                  <artifactId>spotbugs-maven-plugin</artifactId>
                  <version>4.7.2.1</version>
                 
                  <!-- <version>3.1.5</version> -->
                  <dependencies>
                    <!-- overwrite dependency on spotbugs if you want to specify the version of spotbugs -->
                    <dependency>
                          <groupId>com.github.spotbugs</groupId>
                          <artifactId>spotbugs</artifactId>
                          <!-- <version>4.7.3</version> -->
                          <version>4.7.3</version>
                    </dependency>
                  </dependencies>
               </plugin>
        </plugins>
    </build>

    <!-- Einbindung externer Bibliotheken -->
    <dependencies>
   
        <!-- JUnit5 (besteht aus Modulen JUnit.Jupiter und JUnit.Vintage -->
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter-api</artifactId>
            <version>5.7.0</version>
            <scope>test</scope>
        </dependency>
       
        <dependency>
            <groupId>org.junit.vintage</groupId>
            <artifactId>junit-vintage-engine</artifactId>
            <version>5.7.0</version>
            <scope>test</scope>
        </dependency>

    </dependencies>

</project>

Ein Beispiel aus der Testsuite sieht so aus:

package action;

import action.ActionKeepLeft;
import action.ActionKeepRight;
import static org.junit.jupiter.api.Assertions.assertEquals;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.BeforeEach;

public class ActionKeepLeftTest
{
    ActionKeepLeft classToTest;
   
    String strInput;
    String strInputDelimitter;
    int intOccuranceInputDelimmitter;
    boolean boolRadKeepDelimitterYes;
   
    @BeforeEach
    public void setUp()
    {
        classToTest = new ActionKeepLeft();
       
        this.intOccuranceInputDelimmitter = 1;
        this.strInput = "ab_cd_ef_gh";
        this.strInputDelimitter = "_";
        this.boolRadKeepDelimitterYes = false;
    } //setUP
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_1()
    {
        this.intOccuranceInputDelimmitter = 1;
        assertEquals(2, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_1
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_2()
    {
        this.intOccuranceInputDelimmitter = 2;
        assertEquals(5, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_2
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_3()
    {
        this.intOccuranceInputDelimmitter = 3;
        assertEquals(8, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_3
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_4()
    {
        this.intOccuranceInputDelimmitter = 4;
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_4
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_10()
    {
        this.strInputDelimitter = "x";
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_10
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_11()
    {
        this.strInputDelimitter = "";
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_11
   
    @Test
    public void getPositionOfDelimitterFromLeft_test_12()
    {
        this.strInputDelimitter = null;
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, intOccuranceInputDelimmitter));
    } //getPositionOfDelimitterFromRight_test_12
       
    @Test
    public void getCuttedStringFromLine_test_1_false()
    {
        this.intOccuranceInputDelimmitter = 1;
        this.boolRadKeepDelimitterYes = false;
        assertEquals("ab", classToTest.getTest_getCuttedStringFromLine(strInput, strInputDelimitter, intOccuranceInputDelimmitter, boolRadKeepDelimitterYes));
    } //getCuttedStringFromLine_test_1_false
   
    @Test
    public void getCuttedStringFromLine_test_1_true()
    {
        this.intOccuranceInputDelimmitter = 1;
        this.boolRadKeepDelimitterYes = true;
        assertEquals("ab_", classToTest.getTest_getCuttedStringFromLine(strInput, strInputDelimitter, intOccuranceInputDelimmitter, boolRadKeepDelimitterYes));
    } //getCuttedStringFromLine_test_1_true
   
} //ActionKeepRightTest

Wenn ich mir die via jenkins erzeugten xml-Dateien ansehe, so wird kein Test in JUnit5 berücksichtigt.
Mir sind die Ideen ausgegangen, um noch irgend ein Lösungsansatz zu finden.
Kann mir jemand weiterhelfen?
Die Testergebnisse muessten nach meiner Auffassung im Verzeichnis **/target/surefire-reports/ liegen.
Liege ich da richtig?


Gruss Hein_nieH

 

[khmarbaise]

So habe mir das ganze mal ein wenig angeschaut.

1. Die POM Datei enthält einige Probleme... Wenn Du JUnit Jupiter verwenden möchtest, benötigtst Du mindestens die Version 2.22.2 vom maven-surefire-plugin (der 2. Eintrag überschreibt den ersten; Da sollten Warnungen im Rahmen des Builds auftauchen. Ich vermute aber, dass Du nur aus der IDE heraus arbeitest..)...

2. "Convention over Configuration". Keine defaults ändern, wenn Du nicht 100%ig weißt warum und wofür... (maven-jar-plugin etc.)...

3. Ich würde mir angewöhnen mit UTF-8 als Encoding zu arbeiten und nicht mit Windows encoding..

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>Wiki_Wandler</groupId>
  <artifactId>Wiki_Wandler</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>Wiki_Wandler</name>
  <description>Build des Projektes Wiki_Wandler in Jenkins</description>
  <organization>
    <name>ich</name>
  </organization>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
  </properties>

  <build>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.11.0</version>
          <configuration>
            <release>8</release>
            <compilerArgs>
              <arg>-Xlint:all</arg>
              <arg>-Xlint:-processing</arg>
            </compilerArgs>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-checkstyle-plugin</artifactId>
          <version>3.2.1</version>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.3.0</version>
          <configuration>
            <archive>
              <manifest>
                <addClasspath>true</addClasspath>
                <mainClass>main.MainClass</mainClass>
              </manifest>
            </archive>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.jacoco</groupId>
          <artifactId>jacoco-maven-plugin</artifactId>
          <version>0.8.8</version>
        </plugin>
        <plugin>
          <groupId>com.github.spotbugs</groupId>
          <artifactId>spotbugs-maven-plugin</artifactId>
          <version>4.7.2.1</version>
        </plugin>
      </plugins>
    </pluginManagement>
    <plugins>
      <plugin>
        <groupId>org.jacoco</groupId>
        <artifactId>jacoco-maven-plugin</artifactId>
        <executions>
          <execution>
            <goals>
              <goal>prepare-agent</goal>
              <goal>report</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-checkstyle-plugin</artifactId>
        <configuration>
          <configLocation>my_google_checks_8_29.xml</configLocation>
          <consoleOutput>true</consoleOutput>
          <failsOnError>true</failsOnError>
          <linkXRef>false</linkXRef>
        </configuration>
        <executions>
          <execution>
            <id>validate</id>
            <phase>package</phase>
            <goals>
              <goal>check</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
      <plugin>
        <groupId>com.github.spotbugs</groupId>
        <artifactId>spotbugs-maven-plugin</artifactId>
        <version>4.7.2.1</version>
      </plugin>
    </plugins>
  </build>

  <dependencyManagement>
    <dependencies>
      <dependency>
        <groupId>org.junit</groupId>
        <artifactId>junit-bom</artifactId>
        <version>5.9.2</version>
        <scope>import</scope>
        <type>pom</type>
      </dependency>
    </dependencies>
  </dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>org.junit.jupiter</groupId>
      <artifactId>junit-jupiter-engine</artifactId>
      <scope>test</scope>
    </dependency>
  </dependencies>

</project>

Mit dem Setup bitte auf der Plain Kommandozeile Prüfen.. mithilfe von mvn package...

Zu dem Test Code ist einiges zu sagen...

1. Seit JUnit Jupiter (aka JUnit 5) ist nicht notwendig Test Klassen bzw. Test Methoden public zu definieren.

2. Alle Kommentare am ende der Test Methoden oder der Test Klasse } //... (Ende der Methode) sind überflüssig... Dafür hast Du eine IDE...
3. Mein Vorschlag wäre hier einen parametrisierten Tests zu erstellen... (Siehe Dokumentation: https://junit.org/junit5/docs/current/user-guide/#writing-tests-parameterized-tests)
4. Definition von Variablen in der Test Klasse z.B. boolRadKeepDelimitterYes wenn es nur von einigen Tests verwendet wird ist nicht so eine gute Idee (verwirrt anstatt zu helfen)... Dann besser die Parameter in die Test Methoden selbst packen... (Code Duplikationen sind in Tests durchaus hilfreich und nicht verboten!)
5. Warum werden für die Parameter Instanzvariablen in der Testklasse definiert anstatt die Daten einfach an die Methoden direkt zu übergeben...

wie folgt:

    @Test
    void getPositionOfDelimitterFromLeft_test_1()
    {
        assertEquals(2, classToTest.getTest_getPositionOfDelimitterFromLeft("ab_cd_ef_gh", "_", 1));
    }

Hier nochmal die ganze Test Klasse:

package action;

import action.ActionKeepLeft;
import static org.junit.jupiter.api.Assertions.assertEquals;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.BeforeEach;

class ActionKeepLeftTest
{
    private ActionKeepLeft classToTest;
  
    private String strInput;
    private String strInputDelimitter;
    private int intOccuranceInputDelimmitter;
    private boolean boolRadKeepDelimitterYes;
  
    @BeforeEach
    void setUp()
    {
        classToTest = new ActionKeepLeft();

        this.intOccuranceInputDelimmitter = 1;
        this.strInput = "ab_cd_ef_gh";
        this.strInputDelimitter = "_";
        this.boolRadKeepDelimitterYes = false;
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_1()
    {
        assertEquals(2, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, 1));
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_2()
    {
        assertEquals(5, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, 2));
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_3()
    {
        assertEquals(8, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, 3));
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_4()
    {
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, strInputDelimitter, 4));
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_10()
    {
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, "x", intOccuranceInputDelimmitter));
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_11()
    {
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, "", intOccuranceInputDelimmitter));
    }
  
    @Test
    void getPositionOfDelimitterFromLeft_test_12()
    {
        assertEquals(-1, classToTest.getTest_getPositionOfDelimitterFromLeft(strInput, null, intOccuranceInputDelimmitter));
    }
      
    @Test
    void getCuttedStringFromLine_test_1_false()
    {
        assertEquals("ab", classToTest.getTest_getCuttedStringFromLine(strInput, strInputDelimitter, 1, false));
    }
  
    @Test
    void getCuttedStringFromLine_test_1_true()
    {
        assertEquals("ab_", classToTest.getTest_getCuttedStringFromLine(strInput, strInputDelimitter, 1, true));
    }
  
}

Anstatt das checkstyle plugin würde ich eventuelle empfehlen, dass spotless-maven-plugin zu verwenden (https://github.com/diffplug/spotless/blob/main/plugin-maven/README.md)

So noch etwas zum Anfang:

Da ich als Buildtool jenkins bevorzuge

Da muss ich etwas klarstellen. Jenkins ist ein CI/CD Tool....kein Buildtool. Maven ist das Build Tool...(pom.xml!)

Die Frage ist auch welche Version von Jenkins verwendest Du und wie hast Du den Job für das Projekt konfiguriert? Pipeline? Oder Maven Job Type? etc.?

Gruß
Karl Heinz

 

[mrBrown]

Anstatt das checkstyle plugin würde ich eventuelle empfehlen, dass spotless-maven-plugin zu verwenden (https://github.com/diffplug/spotless/blob/main/plugin-maven/README.md)

Wobei man beides auch gut kombinieren kann - Spotless für Formatierung und Checkstyle für alles was nicht automatisch formatiert werden kann (sowas wie Schreibweisen von Variablen und Konstanten etc, man sollte dann nur alles, was automatisch geht rausnehmen)

 

[Hein_nieH]

Hallo,

vielen Dank für die Hilfestellung.
Nachdem ich mich jetzt nochmal am Rechner gesetzt habe und mir einige Beispiele gründlicher angeschaut habe, bin ich auf die Ursache gestossen.
Das Problem lag in der Configuration des maven-surfire-plugins.
Es müssen da folgende Abhängigkeiten eingebunden werden

                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>3.0.0-M1</version>
                <dependencies>
                    <dependency>
                        <groupId>org.junit.platform</groupId>
                        <artifactId>junit-platform-surefire-provider</artifactId>
                        <version>1.3.2</version>
                    </dependency>
                   
                    <dependency>
                        <groupId>org.junit.jupiter</groupId>
                        <artifactId>junit-jupiter-engine</artifactId>
                        <version>5.9.1</version>
                    </dependency>
                </dependencies>

Bei mir fehlten die artifacte
junit-platform-surefire-provider und
junit-jupiter-engine

Ich gebe zu, dass ich meine pom.xml verbessern muss.
Das werde ich dann auch mal tun
Danke nochmals für die Hilfe ....

Gruss Hein_nieH

 

[mrBrown]

Das Problem lag in der Configuration des maven-surfire-plugins.

Es lag vor allem auch an dem doppelt eingebunden surefire-Plugin.

 

[khmarbaise]

Nein bitte nicht die Abhängigkeiten in der maven-surefire-plugin Konfiguration angeben... Bitte verwende die aktuellste Version 3.0.0 vom maven-surefire-plugin... Nur anhand der Abhängigkeiten im Projekt wird das automatisch gemacht...(dependencies..)...

Ja die doppelte Angabe vom maven-surefire-plugin war das Problem..

Eine Empfehlung: https://youtube.com/@khmarbaise