Разница между '+' и ',' в методе System.out.println();

Когда пишешь запятую, ты перечисляешь передаваемые функции параметры. А так как сигнатура System.out.println() поддерживает лишь один аргумент (можно посмотреть в java doc какие именно. Кстати, есть сигнатура без аргументов), очевидно нельзя передать ей несколько параметров. А знак + это конкатенация строк (в println() автоматически у конкатенируемых объектов будет вызван метод toString()).

Для этого нужно использовать printf:

printf("Hello %s!", "World"); //  "Hello World!"