Dann schau mal die ganzen anderen Ordner durch. Es muss dann ja noch irgendwo was hängen. Welche Java Version hattest Du denn installiert?
(Vermutlich irgend ein Dreck von Oracle...)
Schau z.B. mal nach /Library/PreferencesPanes/JavaControlPanel.prefPane und ~/Library/Application\ Support/Oracle/Java
Ansonsten auch mal mit find in /Library und ~/Library suchen. Da wird sich dann vermutlich irgendwo etwas mit "*java*" oder "*Java*" finden lassen.
Da die Meldung hin und wieder kommt, wird vermutlich ein Eintrag im Scheduler vorhanden sein, sprich: auch mal die launchd Verzeichnisse prüfen:
~/Library/LaunchAgents/ und /Library/LaunchAgents/
(LaunchDaemons kann man auch mal rein schauen, aber da wird vermutlich nichts dazu zu finden sein.)
Wenn Du beim launchd etwas findest, dann schau in das .plist File rein. Da findest Du dann, was er ausführt. Damit hast Du dann den Ordner / das Programm und kannst da dann auch gezielt bereinigen.