RecyclerView в RecyclerView перерисовывается странно

У меня реализован вывод галереи с группировкой через 2 RecyclerView:
В первом LayoutManager = Linear и элемент содержит Текст заголовка и RecyclerView второго уровня вложенности.
При заполнении данных в адптере первого уровня создается RecyclerView 2-го уровня и назначается LayoutManager - Grid.

Все работает и отражается и прокручивается. Но после добавления записи нужно отразить добавление - пробовал по разному:
Посылал адаптерам нижнего уровня notifyDataSetChanged, notifyItemInserted Пробовал с верхнего уровня.

В результате получалось как будто новый RecyclerView рисовался под старым. При прокрутке старые картинки двигались, а новые оставались на месте. Как будто 2 слоя. Один неподвижный, другой активный.