не работает компановщик (setLayout)

Застрял на одном месте, скорее всего не вижу очевидного.

есть приложение, по нажатию кнопок должны меняться панели (работает частично). Я хочу кнопки выставить на ЮГ, а они этого не хотят (располагаются наверху), и я не пойму как их заставить сделать это, посмотрите пожалуйста код, он очень простой, скажите в чем причина.

По факту у меня почему-то получается так, что сразу выходят две кнопки sweet и my button, sweet отображается правильно, как я и хочу, а my button где-то наверху, и если нажимать на sweet то ничего не происходит (а должна меняться панель), а если нажимать на my button, то sweet так же уползает наверх, и при этом панели меняются как надо.

enum ViewState {
    START_STATE, NEXT_STATE;
}
@SuppressWarnings("serial")
class Panel2 extends JPanel {
    public Panel2() {
        JPanel panel2 = new JPanel();
        panel2.setPreferredSize(new Dimension(1,40));
        add(panel2, BorderLayout.SOUTH);
        panel2.setLayout(new GridLayout());
        JButton button = new JButton("sweet");
        button.addActionListener(new ActionListener() {
            @Override
            public void actionPerformed(ActionEvent e) {
                MyWindowTest.changeState(ViewState.START_STATE);
            }
        });
        panel2.add(button);
        this.add(panel2);
    }
}
@SuppressWarnings("serial")
class Panel1 extends JPanel {
    public Panel1() {
        JPanel panel1 = new JPanel();
        panel1.setPreferredSize(new Dimension(1,40));
        add(panel1, BorderLayout.SOUTH);
        panel1.setLayout(new GridLayout());
        JButton button = new JButton("my button");
        button.addActionListener(new ActionListener() {
            @Override
            public void actionPerformed(ActionEvent e) {
                MyWindowTest.changeState(ViewState.NEXT_STATE);
            }
        });
        panel1.add(button);
        this.add(panel1);
    }
}
class MyWindowTest {
    private static ViewState viewState;
    private static JPanel mpanel;
    private static JPanel panel1;
    private static JPanel panel2;
    private static JFrame frame;
    public MyWindowTest() {
        frame = new JFrame();
        mpanel = new JPanel();
        panel1 = new Panel1();
        panel2 = new Panel2();
        frame.setSize(400, 400);
        frame.setLocationRelativeTo(null);
        frame.setDefaultCloseOperation(WindowConstants.EXIT_ON_CLOSE);
        frame.add(mpanel);
        frame.add(panel1, BorderLayout.SOUTH);
        panel1.setLayout(new GridLayout());
        frame.add(panel2, BorderLayout.SOUTH);
        panel2.setLayout(new GridLayout());

        changeState(ViewState.START_STATE);
        frame.setVisible(true);
    }
    public static void changeState(ViewState state) {
        viewState = state;
        System.out.println("change state: " + viewState);
        switch (state) {
            case START_STATE:
                mpanel.removeAll();
                mpanel.add(panel1);
                mpanel.revalidate();
                mpanel.repaint();
                break;
            case NEXT_STATE:
                mpanel.removeAll();
                mpanel.add(panel2);
                mpanel.revalidate();
                mpanel.repaint();
                break;
            default:
                System.out.println("UNKNOWN STATE!");
                break;
        }
    }
    public static void main(String[] args) {
        @SuppressWarnings("unused")
        MyWindowTest n = new MyWindowTest();
    }
}

Если есть предложения по улучшению кода, с радостью выслушаю.