Ja, in dem du LayoutManager mittels eingebetteten Panels schachtelst.
JPanel buttonPanel = new JPanel();
buttonPanel.setLayout(new FlowLayout());
buttonPanel.add(okButton);
buttonPanel.add(cancelButton);
buttonPanel.add(applyButton);
JDialog dlg = new JDialog();
dlg.add(..., BorderLayout.CENTER);
dlg.add(buttonPanel, BorderLayout.SOUTH);
//sowas aber geht nicht:
dlg.add(new FlowLayout(), BorderLayout.SOUTH);