setAdapter долго загружает данные

Здравствуйте.Имеется кастомный CursorAdapter.Загружаю данные в адаптер

@Override
public void onLoadFinished(Loader<Cursor> loader, Cursor data) {
    long start = System.currentTimeMillis();
    adapter.swapCursor(data);
    Log.i("onLoadFinished", "Время выполнения " + String.valueOf(System.currentTimeMillis() - start) + " мс");
}

Сначала думал что запрос к БД долгий, но проверил он моментальный а дело все в setAdapter,который не меньше 3 секунд устанавливает адаптер.Как это дело все исправить?