Ограничение размера Dialog

Попробуйте сделать вот так:

Создайте класс

private static class OnViewGlobalLayoutListener implements ViewTreeObserver.OnGlobalLayoutListener {
private final static int maxHeight = 130;
private View view;
public OnViewGlobalLayoutListener(View view) {
    this.view = view;
}
@Override
public void onGlobalLayout() {
    if (view.getHeight() > maxHeight)
        view.getLayoutParams().height = maxHeight;
}
}

Затем добавьте слушатель к вашему view (в вашем случае recyclerview):

view.getViewTreeObserver()
              .addOnGlobalLayoutListener(new OnViewGlobalLayoutListener(view));

источник