Ошибка при реализации многопользовательского голосового чата на С# + Python

Проблема такая, пишу голосовой чат с помощью С# и технологии NAudio. Записанный голос по TCP соединению передаю на сервер, а тот, в свою очередь, рассылает байты звука остальным клиентам. Так вот, когда общаются 2 человека, то проблем никаких нет, а если больше - клиент падает через 2-3 секунды. У меня есть предположение, что это связано с тем, что Клиент2 отправляет на сервер кусок байтов, Клиент3 делает тоже самое, а сервер их подряд передает Клиенту 1, и получается, что склеиваются байты от двух разных дорожек, клиент 1 не может это воспринять и падает. Скажите, может ли быть проблема в этом и как ее исправить? А если нет, то где искать беду?