В чем отличие троеточия от квадратных скобок?

Главное отличие в сигнатуре методов. В первом случае сигнатура метода определяет один или более параметров типа String, во втором передается только один параметр типа String[]. Определение vararg также допускает использование массива в качестве аргумента.

В первом случае может быть использовано

onProgressUpdate("item1","item2","item3");

или

onProgressUpdate(new String[]{"item1","item2","item3"});

а во втором случае только последний вариант.

Более подробно об vararg можно почитать здесь.

Первое, это varargs, что обозначает передачу неограниченного количества элементов. Пример: link

void func(int... numbers);
func(1,2,3,4,5,6,7,8);

Второй, это просто передача массива. Пример:

void func(int[] arr);
int[] arr = new int[10];
func(arr);