Если направить мышку на кнопку должна появиться panel

В конструкторе формы устанавливаете видимость panel1:

     public Form1()
     {
         InitializeComponent();
         panel1.Visible = false;
     }

У элементов управления есть событие MouseLeave (когда указатель мыши выходит за границы элемента). У Вас это событие для panel1:

    private void panel1_MouseLeave(object sender, EventArgs e)
    {
        panel1.Visible = false;
    }

И также есть "обратное" событие MouseEnter (когда курсор входит в видимые границы элемента). В Вашем случае - для button1:

    private void button1_MouseEnter(object sender, EventArgs e)
    {
        panel1.Visible = true;
    }