C# высоконагруженный клиент-сервер

Есть сервер, у которого 20-30 активных подключений. И одно подключение к другому серверу(машина куда надо отправлять обработанные данные). Данные с активных подключений приходят раз 1-10 секунд. Пришедшие данные обрабатываются за 2-3 секунды и отправляются на другой сервер.

Вызываю метод BeginWrite(начинаю запись в поток), а в callback методе вызываю EndWrite. Как я понял EndWrite блокируется пока данные не передадутся на другое приложение(другой сервер). И получается, что все остальные пакеты ждут пока отправятся другие пакеты. Соответственно, получается задержка и накопление очереди(если я правильно понимаю).

Как можно решить эту проблему? Или может я копаю не в том направлении?