Listview'ы разметка - производительность android

Правильнее делать для каждого адаптера свою разметку.

..xml разметка тратит много ресурсов...

Это значит что плохо построенная xml долго отрисовывается. Поэтому для каждого адаптера лучше делать xml с минимальным количеством view, а не пихать все в одну xml. Хотя view у которых visibility=gone не отрисовываются. Но вы будете тогда тратить время в адаптаре для того чтобы выполнить setVisibility(VISIBLE) каждой view которую нужно отобразить. В общем делайте разные xml для разных адаптеров

Действительно работа с xml довольно ресурсозатратная операция. Поэтому лучше использовать разные разметки и желательно с применением паттерна ViewHolder, который способствует увеличению производительности. Если проект только создается, то можно рассмотреть использование RecyclerView в качестве альтернативы ListView. При этом использование паттерна ViewHolder становится уже обязательным.