GUI-Programmierung ist eigentlich ein Fortgeschrittenen-Thema, das solltest du erst angehen, wenn du Java in seinen Grundzügen beherrschst. Grundsätzlich ist Java in Browsern keine gute Idee und die Tatsache, dass du danach fragst, lässt mich vermuten, dass du Java vielleicht mit JavaScript verwechselst. Letzteres wird sehr wohl bei fast allen Webseiten eingesetzt, Java als solches nur in Form von Java Applets und diese Technik ist, wie mein Vorredner schon angedeutet hat, obsolet, bzw. unerwünscht.
Du kannst einen Anwendungsserver betreiben, um Java-Programme Anfragen von Clients (wie Browsern) zu bearbeiten (Stichwort Java EE), jedoch ist diese Technik als Backend für Online-Spiele (und andere Anwendungen/Dienste) zu verstehen und hat erstmal nichts mit der Grafik eines Spiels zu tun, sondern spielt eine Rolle beim Datenaustausch der Clients, bzw. zwischen Client und Server. Ein Anwendungsfall, der für dich zunächst keine Rolle spielt.
Die genannten Frameworks wie Swing und JavaFX sind die richtigen Stichwörter, wenn du an die Grafik- bzw. GUI-Programmierung gehen willst. Jedoch sollte dir klar sein, dass dies nicht das Herzstück eines Spiels ist, sondern eher ein Schmankerl, eins, das, wenn es umgesetzt werden soll, noch einmal einen erheblichen Lern- und Implementierungsaufwand voraussetzt.
Deshalb mein Rat: Back kleine Brötchen und beschäftige dich erstmal mit den logischen Abläufen von Programmen und verinnerliche das Prinzip der Objektorientierten Programmierung. Nutze hierfür die Konsole deiner IDE (falls du eine einsetzt, was ich dringend empfehle) für etwaige Programmausgaben und nutz diese Umgebung für kleine, auf Logik basierende, Projekte, die keine Grafikausgabe voraussetzen und nur einfache Eingaben in Form von Kommandos oder Zahlen voraussetzen, denn Grafikprogrammierung ist im Grunde ein eigener Bereich der Programmierung, der einen großen Aufwand voraussetzt um winzige Effekte zu erzielen; das sollte, wie gesagt, erst später kommen, dann aber richtig.
Konkret heißt das: Entwickle z.B. eine grafiklose Version des NIM-Spiels, das man gegen den Computer spielen kann und entwirf eine Methode, mit der der Computer, d.h. die KI, immer gewinnt.
Die von dir genannten Spiele (Schiffe versenken, Tic Tac Toe, 4 gewinnt) sind auch nett, um KIs zu entwickeln, allerdings ist es schwierig, diese so zu programmieren, dass sie ohne GUI auskommen, aber es ist möglich. Bei NIM hast du lediglich eine Zahlenspielerei, die gut mit der Konsole realisiert werden kann.
Lass uns wissen, wofür du dich entscheidest und ob wir ggf. helfen können. Ich plane selbst auch ein Spiel zu programmierung, bin aber noch in der Planungsphase. Grafik wird auch hier ein Thema sein, aber es wird bei mir noch lange dauern, bis es an der Reihe ist, weil wie gesagt, erst Grundlagen gelegt werden müssen.