JUnit TesSuite und @Repeat

[Shaddow]

Hi,
ich sitz gerade an einem Projekt, das einige Frameworks vereint und ich stoße dabei hin und wieder auf kleinere Problemchen. Erstmal vorweg: ich nutze Maven, Spring und Selenium

Nun baue ich UI Tests für eine Website mit Selenium, das Framework für Beanloading, Contextverwaltung usw ist Spring und den Buildprozess übernimmt Maven.

Nun wollte ich bestimmte tests mehrfach durchlaufen lassen, um danach eine Statistik aufzustellen, wie erfolgreich sie waren. Ich bin bei meiner Suche auf zwei Ansätze gestoßen.

Einmal die RepeatedTests und @Repeat aus dem Spring Framework
Leider funktioniert @Repeat aus irgendeinem Grund nicht; egal, was ich mache, der Test, den ich mit @repeat versehe, läuft einmal durch und nicht mehr.
Also habe ich mich nach einer Alternative in form einer testsuite umgesehen, die ich mit repeatable Tests bestücke. Der Code dazu:

@RunWith(Suite.class)
@Suite.SuiteClasses({
    AccessibleTest_one.class,
    AccessibleTest_two.class,
FlashVisibilityTest
})
public class AccessibilityTestCase 
{
    public static Test suite() {
        TestSuite suite = new TestSuite("Accessibilitytests");
        
       //  suite.addTest(new RepeatedTest(new AccessibleTest_one(), 5));
      //  suite.addTestSuite(AccessibleTest_one.class);
     //   suite.addTestSuite(AccessibleTest_tow.class);
      //  suite.addTestSuite(FlashVisibilityTest.class);
        
        return suite;
    }

}

Nachdem ich im web herausgefunden habe, dass durch junit4 einige neue Annotations dazugekommen sind und man deswegen die Zuweisung der Tests zur Suite per Annotation realisieren kann, sind die addTestSuits rausgeflogen. Allerdings hat mit denen der RepeatedTest auch nicht funktioniert... Gibt es nu eine Möglichkeit in dieser Annotation zu sagen, wie oft ich den Test ausführen lassenn möchte? Oder irgendwo anders? Ich habe mal versuchshalber ein und den selben Test mehrfach in die Annotation geschrieben und er wurde wirklich mehrfach durchlaufen, aber das würde ich wirklich nur als aller letzten Ausweg nehmen wollen.

Hat da jemand eine Idee? Falls jemand weiss, wie man @Repeat richtig nutzt, das natuerlich auch gern

 

[maki]

Leider funktioniert @Repeat aus irgendeinem Grund nicht; egal, was ich mache, der Test, den ich mit @repeat versehe, läuft einmal durch und nicht mehr.

Schon mal probiert den SpringJUnit4ClassRunner zu verwenden?

Persönlich hab ich sowas noch nie gebraucht, warum sollte der Test sich in nachfolgenden Aufrufen anders verhalten unter genau denselben Umständen?

 

[Shaddow]

Prinzipiell ist es nicht unsinnig Tests mehrfach ablaufen zu lassen, grad bei Multithreading, messaging usw.
Bei den UI Tests in dem Fall liegt es einfach daran, dass die Seleniumtests dazu neigen, hin und wieder einfach abzubrechen. Manchmal klappts manchmal nicht, ich habe inzwischen das Gefühl, dass man während der Tests den PC besser nicht anfasst, dann hat man die höchsten Chancen, dass er durchläuft. Um deswegen ein einigermaßen Repräsentatives Ergebnis zu haben, will ich die Tests mehrfach laufen lassen
Aber den Loader schau ich mir direkt mal an, danke