Установить анимацию на программный dismiss BottomSheetDialogFragment'а

Добавить анимацию можно таким способом (на примере фрагмента):

@Override
public void onActivityCreated(Bundle arg0) {
    super.onActivityCreated(arg0);
    getDialog().getWindow()
    .getAttributes().windowAnimations = R.style.DialogAnimation;
}

и вот анимация в стилях:

<style name="DialogAnimation">
    <item name="android:windowEnterAnimation">@anim/slide_up</item>
    <item name="android:windowExitAnimation">@anim/slide_down</item>
</style>

и вот есть так же статья по данному вопросу. Вот документация по вопросу анимации.