Nein, dass wird nicht gehen. Fullscreen bekommt eine Anwendung i.d.R. immer im exlusiv Modus. D.h. nichts kann sich davor schalten (mal Betriebssystemdienste ausgeschlossen). Unter Win98se war es noch so, dass ein Programm in den Vordergrund geriet, wenn es ein Notification Event auslößte, aber das ist ab WinXP rausgenommen worden (glaube ich). Außerdem war das nie in Java verfügbar.
Was du aber versuchen kannst, wenn du es wirklich nur für den Fall mit dem Flash Video brauchst: schau ob es eine Schnittstelle mit dem Flash Plugin gibt, die man von außen ansprechen kann. Vielleicht kannst du so ein Fenster im Vordergrund einblenden.
Ansonsten ... da fällt mir ein, dass JDownloader, wenn es eine Captcha Abfrage gibt, dann schaltet es sich bei mir vor dem Flash Video, was im Fullscreen Modus läuft. Vom Aussehen her tippe ich auf einen JDialog, der modal ist.