Как очистить errorprovider через заданный timeout?

Используйте таймер или await Task.Delay():

1. Заполнили ErrorProvider.
2. Запустили таймер/подождали.
3. Очистили ErrorProvider для всех контролов (если будете использовать таймер, не забудьте использовать Invoke, поскольку колбэк таймера вызывается не в UI потоке).

Пример с использованием Task.Delay():

private async void btnValidate_Click(object sender, EventArgs e)
{
    Validate();
    await Task.Delay(TimeSpan.FromSeconds(5));
    ClearValidation();
}
private void Validate()
{
    if (string.IsNullOrEmpty(extensionNumBox.Text))
    {
        errorProvider1.SetError(
            extensionNumBox,
            "Поле «Добавочный номер» обязательно для заполнения");
    }
    // другие проверки
}
private void ClearValidation()
{
    errorProvider1.SetError(extensionNumBox, string.Empty);
    // очищаем другие контролы
}