Modularisierung bedeutung erstmal nichts anderes, als etwas in Modul aufzuteilen.
Das heißt, erstmal sollte der Begriff eines Moduls geklärt werden. Wirklich scharf kann man den nicht definieren, aber ich versuchs mal:
Ein Modul ist ein Bereich, der von andern Modulen thematisch getrennt ist und nur wenige, fest definierte Verknüpfungen mit anderen Modulen hat. Was das genau bei einem Programm nun ist, muss man immer anhand des jeweiligen Programms entscheiden.
Beispielsweise könnte man die CVS-Integration von Eclipse als ein Modul betrachten, das dafür zuständig ist den Workspace mit einem CVS-Server zu synchronisieren.
Als ein (und eigentlich auch das einzige wirkliche= Mittel zur Modularisierung in Java gibt es die Packages. Die erlauben es Klassen, die einen thematischen Zusammenhang haben zu gruppieren.