Kurz gesagt, eines deiner Grafikobjekte (Button, Panel, was auch immer) muss den Klick empfangen.
Wenn du weißt, welches, dann ist dein Problem schon gelöst. Du fügst diesem Objekt einen Mouselistener oder MouseAdapter(erspart Schreibarbeit) hinzu, diese Klasse implementiert/überschreibt dann "mouseClicked". Sinnvoller ist bei Buttons allerdings ein ActionListener, der reagiert auf Clicks UND auf Enter/Space.