Danach kannst Du die Dateien per Java vom Dateisystem löschen.
Bei "Server"-DBs geht das natürlich nicht vom Client. Da musst Du den Server stoppen, die Dateien löschen und wieder neu starten. Meiner Meinung nach macht man das extremst selten, oder?
Für häufiges Anlegen/Löschen von DBs bieten sich meiner Meinung nach besser in-memory DBs an