Standard hast Du immer ein Layout auf Deinem Panel und dem Frame.
Ich glaube es ist das BorderLayout (bin mir gerade nicht ganz sicher).
Aber Du kannst das Layout sozusagen abschalten, in dem Du setLayout(null); setzt.
Dann aber MUSST Du eine Größe der einzelnen Komponenten setzen. Ohne beispielsweise setSize(x,y); sind die Komponenten nicht sichtbar.
Auf einen Layout Manager zu verzichten heisst, dass Du alles selber machen musst, aber auch alles selber machen kannst.
Ich persönlich empfinde die Layout Manager als äußerst störend, was das Aussehen der Seite angeht, ich baue das lieber alles von Hand, ohne Layout Manager. Aber es ist ein Haufen Arbeit, eh alles so aussieht wie man es haben will.
Probier es aus, was Dir besser gefällt. Beides hat Vor- und Nachteile.