Allein mit Java, befürchte ich, wird das nicht gehen.
Vielleicht in C++ einen Wrapper für das Konsolenfenster schreiben, so dass du da auch das Tray-Icon hast.
Oder eine Art Ausgabefenster selber schreiben, so dass du immer noch die Ausgabe hast, dann aber nicht mehr mit System.out.println. Vielleicht ja mit eine Logger-Bibliothek und einem JFrame und eine JTextArea, in die die Ausgabe umgelenkt wird.