все время вызывается onLoadFinished

FragmentStatePagerAdapter убивает фрагменты, когда они становятся вне видимости и сохраняет их State. Когда вы снова возвращаетесь к фрагменту, то срабатывает полный цикл создания, но savedInstanceState из предыдущего состояния. Из документации:

This version of the pager is more useful when there are a large number of pages, working more like a list view. When pages are not visible to the user, their entire fragment may be destroyed, only keeping the saved state of that fragment.

Отсоединяется фрагмент в FragmentPagerAdapter :)

Из полезных ссылок - документация. и вот эта статья