Неправильная дата GregorianCalendar

Месяцы (поле Calendar.MONTH) нумеруются с нуля. Соответственно, 0 — это январь, а 8 — сентябрь.

Из документации:

Field number for get and set indicating the month. This is a calendar-specific value. The first month of the year in the Gregorian and Julian calendars is JANUARY which is 0; ..

Для преобразования даты в строку в заданном формате проще использовать SimpleDateFormat:

 SimpleDateFormat sdf = new SimpleDateFormat("dd.MM.yyyy");
 String text = sdf.format(calendar.getTime());

В данном случае попробуйте воспользоваться SimpleDateFormat, он на много удобен:

import java.text.SimpleDateFormat;
import java.util.*;
public class DateTest
{
    private static final Logger LOG = Logger.getLogger(DateTest.class.getName());
    public static void main(String[] args)
    {
        System.out
                .println(
                        new SimpleDateFormat("dd.MM.yyyy")
                        .format(
                                changeCalendarDay(5, Calendar.DAY_OF_MONTH)
                        )
                );
    }
    private static Date changeCalendarDay(int daysCount, int field)
    {
        GregorianCalendar calendar = new GregorianCalendar();
        calendar.set(2017, 10, 10);
        calendar.add(field, daysCount);
        return calendar.getTime();
    }
}