Spring Boot Integration-testing mit Keycloak

[Raphael_]

Hi,
ich habe derzeit seit einigen Tagen ein Problem, an dem ich arbeite. Konkret versuche ich, einen Endpunkt zu testen, der über Keycloak authentifiziert wird. Vor jedem meiner Tests wird ein Keycloak Docker-Container gestartet und gemäß meiner realm-export.json-Datei konfiguriert. Das funktioniert einwandfrei. Dadurch erhalte ich ein Zugriffstoken, das von diesem Container als gültig erachtet wird.

Das Problem liegt darin, dass, wenn ich meinen "echten" Endpunkt aufrufe, das Zugriffstoken aufgrund meiner SecurityConfig-Datei an Keycloak weitergeleitet wird. Um auf mein speziell für Integrationstests konfiguriertes Keycloak zuzugreifen, habe ich eine application-test.yml erstellt, auf die die SecurityConfig während der Tests zugreift. Mein Problem ist, dass der Port, auf dem der Container gestartet wird, zufällig festgelegt wird, und ich es nicht schaffe, diesen Port in der application-test.yml anzugeben. Die Verwendung einer Variable scheint nicht zu funktionieren, da die YAML-Datei vor meinem Test ausgeführt wird, und daher erhalte ich einen Fehler, dass die Variable nicht gefunden werden kann. Es scheint auch nicht möglich zu sein, den Port für diesen Container festzulegen.

Meine Frage lautet also: Wie kann ich sicherstellen, dass meine application-test.yml den richtigen Port kennt, um das Token zu validieren?

 

[Oneixee5]

Den Port eines Containers kannst du in einem Startscript finden und als Umgebungsvariable oder Property setzen:

docker inspect --format='{{(index (index .NetworkSettings.Ports "${interner Port}/tcp") 0).HostPort}}' ${container id}

- interner Port könnte bei Keykloak z.B.: 8080 oder 8443 sein
-ContainerId kannst du wie üblich erkennen oder setzen

Ich mache das mit z.B. mit Postgres

docker ps -a
CONTAINER ID   IMAGE             COMMAND                  CREATED        STATUS         PORTS                     NAMES
84ef1073eefc   postgres:latest   "docker-entrypoint.s…"   7 months ago   Up 8 minutes   0.0.0.0:55000->5432/tcp   postgres-N4ES

Das Ergebnis:

docker inspect --format='{{(index (index .NetworkSettings.Ports "5432/tcp") 0).HostPort}}' 84ef1073eefc

55000

 

[Raphael_]

Den Port eines Containers kannst du in einem Startscript finden und als Umgebungsvariable oder Property setzen:

docker inspect --format='{{(index (index .NetworkSettings.Ports "${interner Port}/tcp") 0).HostPort}}' ${container id}

- interner Port könnte bei Keykloak z.B.: 8080 oder 8443 sein
-ContainerId kannst du wie üblich erkennen oder setzen

Ich mache das mit z.B. mit Postgres

docker ps -a
CONTAINER ID   IMAGE             COMMAND                  CREATED        STATUS         PORTS                     NAMES
84ef1073eefc   postgres:latest   "docker-entrypoint.s…"   7 months ago   Up 8 minutes   0.0.0.0:55000->5432/tcp   postgres-N4ES

Das Ergebnis:

docker inspect --format='{{(index (index .NetworkSettings.Ports "5432/tcp") 0).HostPort}}' 84ef1073eefc

55000

Aber das soll ja ein Integrationtest werden, also soll das ja autmatisch passieren. Ich könnte natürlich den docker container manuell hochfahren, mir den port anschauen und ihn die yml reinschreiben, aber das ist ja nicht der Sinn des Integrationtests. Ich muss das also irgendwie automatisch vor dem Integrationtest umsetzen, oder bin ich gerade falsch?

 

[Marinek]

Ich verstehe nicht, wieso sich der Port ständig ändert.

 

[Oneixee5]

Ich muss das also irgendwie automatisch vor dem Integrationtest umsetzen, oder bin ich gerade falsch?

Dann mach es doch automatisch oder wie ich geschrieben habe in dem Startscript. In die Pipeline vom Jenkins kannst du alles möglich einbauen.

 

[httpdigest]

Ich verstehe nicht, wieso sich der Port ständig ändert.

Meist nutzt man dynamische (ephemeral) Host Ports, wenn man halt mehrere Tests parallel fahren möchte, mit jeweils eigenem Container. Es können nicht mehrere Prozesse auf denselben Port binden.

 

[Raphael_]

Ich denke wir reden gerade etwas aneinander vorbei. Also ich setze so den Container auf:

@Container
    KeycloakContainer KEYCLOAK = new KeycloakContainer()
            .withRealmImportFile("/realm-export.json");

Dabei wird ein random Port gewählt. Das ist halt vom Framework einfach so, wahrscheinlich, dass kein bereits belegter Port verwendet wird.

Dann habe ich hier meinen Test:

@Test
    void testProtectedEndpoint() throws Exception {
        Assertions.assertTrue(KEYCLOAK.isRunning());

        String authServerUrl = KEYCLOAK.getAuthServerUrl();

        String accessToken = given()
                .contentType("application/x-www-form-urlencoded")
                .formParams(Map.of(
                        "username", "username",
                        "password", "password",
                        "grant_type", "password",
                        "client_id","test-rest-api",
                        "client_secret", "secret"
                ))
                .post(authServerUrl + "/realms/realm/protocol/openid-connect/token")
                .then().assertThat().statusCode(200)
                .extract().path("access_token");
        System.out.println(accessToken);




        String requestBody = "{\"folderName\": \"User2\", \"rootFolder\": null}";

        mockMvc.perform(MockMvcRequestBuilders
                        .post("http://localhost:444/api/v1/folder")
                        .content(requestBody)
                        .contentType(MediaType.APPLICATION_JSON)
                        .header(HttpHeaders.AUTHORIZATION, "Bearer " + accessToken))

                .andExpect(MockMvcResultMatchers.status().isOk());
    }

Dabei hole ich mir mit dem oberen Block den token, den ich brauche um auf den unteren Endpoint zuzugreifen.
Und genau da liegt das Problem, denn die Anfrage an den Endpoint durchläuft diese SecurityConfig file:

@Bean
    public SecurityFilterChain securityFilterChain(HttpSecurity http) throws Exception {
        http
                .csrf()
                .disable()
                .authorizeHttpRequests(auth -> auth
                        .anyRequest()
                        .authenticated()
                )
                .exceptionHandling()
                .authenticationEntryPoint((request, response, authException) -> response.sendError(HttpStatus.UNAUTHORIZED.value(), "Connection failed"));

        http
                .oauth2ResourceServer(oauth2 -> oauth2.jwt(jwtConfigurer -> jwtConfigurer.jwtAuthenticationConverter(jwtAuthConverter)));
        http
                .sessionManagement()
                .sessionCreationPolicy(STATELESS);

        return http.build();
    }

Wie ihr sehen könnt wird die Anfrage authentifiziert und um die url meines keycloaks (ich meine die, die vom Container, den ich oben erstellt habe) anzugeben habe ich eine application-test.yml. Diese sieht folgendermaßen aus:

  security:
    oauth2:
      resourceserver:
        jwt:
          issuer-uri: http://localhost:RandomPortDenIchNichtKenne/realms/realm
          jwk-set-uri: ${spring.security.oauth2.resourceserver.jwt.issuer-uri}/protocol/openid-connect/certs

der Port den ich bei issuer-uri angegeben habe kenne ich nicht, weshalb ich ihn RandomPortDenIchNichtKenne genannt habe. Hier müsste eigentlich der Port rein, unter dem der Container für den Integrationtest läuft. Da dieser aber random ist kann ich hier keinen Wert reinschreiben und mithilfe einer Variable kann ich das auch nicht lösen, da die yml vor meinem test "ausgeführt" wird und somit bekomme ich dann natürlich einen Fehler, dass die Variable nicht gefunden werden kann.
Ich hoffe das hat das Ganze etwas klarer gemacht.

 

[Marinek]

Siehe hier: https://github.com/dasniko/testcontainers-keycloak#usage-in-your-application-framework-tests

Ich habe sowas noch nicht benutzt bisher, daher lese ich das gerade, was das für dein Problem bedeutet.

Aber Tenor ist: Du musst keine Portangabe tätigen.

Da ist auch ein ausführliches --Buch-- (sorry 2023) Youtube Video verlinkt: Und hier spricht er glaube ich dein Problem an:

 

[thecain]

So wie hier in Kapitel 4 habe ich das bisher immer gelöst: https://www.baeldung.com/spring-dynamicpropertysource

 

[Marinek]

1. Möglichkeit: Spring Boot / Keycloak mitteilen, welcher Port verwendet werden soll. (bevorzugte Variante)

Wenn man statt zu Trollen versuchen würde dem Thread zu folgen, so haben wir gerade und nachweislich diese Option aus sehr guten Gründen ausgeschlossen.

2. Möglichkeit: network: host für den Service in Docker verwenden, und den Service, wie von @Oneixee5 beschrieben, "anpingen".

Nicht notwendig. Der Container sagt einem die korrekte url und den Port.

Eine andere möglichkeit gibt es nicht. In Docker gibt es keine Möglichkeit, um alle Serviceports automatisch zu binden

Was auch immer diese Aussage bedeutet. Aber mehr als unqualifiziert ist es nicht.

 

[Marinek]

Ich finde, besonders Anfängern, sollten keine falschen Antworten gegeben werden.

Witzig, dass du dich aktuell damit beschäftigst Buchstaben zu zählen in einem Wort, und das nach 10 Jahren Informatik Foren trollen. Und dann denkst der TO hier sei Anfänger. Oder irgendjemand, der hier mithilft das Problem zu lösen.

Das Level wirfst du in 100 Jahren nicht erreichen.

Du musst dir echt dieses sinnbild mit dem Geisterfahrer ergoogeln.

Immerhin sind die anderen schlauer und ignorieren deine Postings. Das muss dich wahnsinnig machen.

 

[Raphael_]

Siehe hier: https://github.com/dasniko/testcontainers-keycloak#usage-in-your-application-framework-tests

Ich habe sowas noch nicht benutzt bisher, daher lese ich das gerade, was das für dein Problem bedeutet.

Aber Tenor ist: Du musst keine Portangabe tätigen.

Da ist auch ein ausführliches --Buch-- (sorry 2023) Youtube Video verlinkt: Und hier spricht er glaube ich dein Problem an:

Hi, also das Video, war eigentlich genau das, was ich gebraucht habe, also danke dafür. Dennoch habe ich noch Probleme, da er das dort mit Quarkus umsetzt und ich Spring Boot verwende.
Ich habe meinen Test jetzt so aufgebaut:

@ContextConfiguration(classes = KeycloakResource.class)
@SpringBootTest
@ActiveProfiles("test")
class FolderControllerTest{


    @Value("${spring.oidc.auth-server-url}")
    String keycloakAuthServerUrl;


    @Test
    void testProtectedEndpoint() throws Exception {
        System.out.println(keycloakAuthServerUrl + "/protocol/openid-connect/token");

        String accessToken = given()
                .contentType("application/x-www-form-urlencoded")
                .formParams(Map.of(
                        "username", "username",
                        "password", "password",
                        "grant_type", "password",
                        "client_id","test-rest-api",
                        "client_secret", "secret"
                ))
                .post( keycloakAuthServerUrl + "/realms/realm/protocol/openid-connect/token")
                .then().assertThat().statusCode(200)
                .extract().path("access_token");
        System.out.println(accessToken);

Ich versuche derzeit nur den access Token korrekt zu erhalten (Den eigentlichen Endpoint habe ich hier jetzt mal weggelassen)

Dann habe ich wie im Video gezeigt wurde so eine KeycloakResource file erstellt, die vor dem Test ausgeführt wird und die url in der application-test.properties überschreiben soll (Ja ich habe für Testzwecke jetzt einfach mal auf eine .properties Datei gesetzt). Dort vermute ich liegt der Fehler, da es mir nicht gelungen ist den Code des Videos auf Spring Boot abzuändern.
Das Ganze sieht so aus:

@ActiveProfiles("test")
@ContextConfiguration()
public class KeycloakResource {

    @Container
    public static GenericContainer<?> keycloakContainer = new GenericContainer<>("jboss/keycloak");

    public static class Initializer implements ApplicationContextInitializer<ConfigurableApplicationContext> {
        @Override
        public void initialize(ConfigurableApplicationContext applicationContext) {
            TestPropertyValues.of(
                    "spring.oidc.auth-server-url" + keycloakContainer.getHost() + ":" + keycloakContainer.getFirstMappedPort() + "/auth/realms/realm"
            ).applyTo(applicationContext.getEnvironment());
        }
    }
}

Wie vorhin erwähnt habe ich jetzt einfach aus Testzwecken eine application-test.properties Datei gewählt, welche so aussieht:

spring.oidc.auth-server-url=http://localhost:8080/auth/realms/realm

Wenn ich den Test jetzt ausführe, und mir die url printen lasse, dann steht dort genau die url drinnen, die als Standartwert gesetzt wurde, also:
http://localhost:8080/auth/realms/realm. Es ist also ziemlich klar, dass der Code in der KeycloakResources File die url nicht überschreibt.
Wie gesagt konnte ich für Spring Boot jetzt nicht wirklich etwas finden und der Code sieht mir ehrlich gesagt eh recht suspekt aus. Also vielleicht hat ja jemand von euch noch eine Idee.

 

[Oneixee5]

Bei dir fehlt das =

TestPropertyValues.of("foo=bar").applyTo(applicationContext);

 

[Raphael_]

Bei dir fehlt das =

TestPropertyValues.of("foo=bar").applyTo(applicationContext);

Stimmt, hat das Problem aber leider auch nicht behoben.