Как объединить все элементы в коллекции в одну строку и проставить между ними запятую?

Начиная c Java 1.8 можно воспользоваться классом StringJoiner, Collector.

Пример StringJoiner:

 StringJoiner joiner = new StringJoiner(",");
 for (Item item : list) {
   joiner.add(item.toString());
 }
 String myString = joiner.toString();

Пример Collector:

String myString = list.stream().collect(Collectors.joining(", "));

До Java 1.8 можно реализовать это следующим образом:

String delim = "";
for (int i : ints) {
  sb.append(delim).append(i);
  delim = ",";
}

List<String> list = Arrays.asList("foo", "bar", "baz");
String joined = String.join(" and ", list);  // "foo and bar and baz"

Либо Java 8 Stream API

List<String> list = Arrays.asList("foo", "bar", "baz");
String joinedFirstNames = list.stream()
  .collect(Collectors.joining(", ")); // "foo, bar, baz"