Сетевая библиотека для C#

Библиотек таких я лично не знаю. Возможно, они и есть, но толку от них было бы немного. Такие вещи реализуются самостоятельно. Используйте потоковые сокеты.

Создаёте Socket, привязываете к локальной конечной точке (метод Bind), указываете количество входящих соединений (метод Listen, -1 для неограниченного количества), принимаете входящие соединения и обрабатываете каждое в отдельном потоке. Что касается данных пакета, я думаю сами найдёте способ представления данных в нужном формате. Пусть будет метод, который перед отправкой всё вам завернёт в BSON или JSON, сериализует и пустит в сокет (десериализует при приёме).

Значит чат я бы на вашем месте организовал так:

1. Идентифицировал бы клиента и заносил бы его в словарь сопоставляя его id ссылку на объект сокета
2. При отправке сообщения, определял бы кому оно предназначено, вытаскивал бы сокет нужного пользователя из словаря по id и отправлял бы ему это сообщение
3. В качестве словаря посоветую использовать асинхронные вещи, иначе будут проблемы

Если речь шла бы о промышленных масштабах, то нужно продумать ещё и алгоритм распределения нагрузки (но это уже отдельная тема).

UPD: На счёт того, что вы теряете пакеты - да, это может быть (так уж устроены сокеты). Советую почитать спецификацию по winsock. Сам встречался с такой проблемой. Решил в итоге расширить размер входного буфера сокета (Socket.ReceiveBufferSize) и создать что-то типа своего буфера (отдельный поток, который читает все данные с сокета, как только они там появляются (Socket.Poll), и копирует в мой буфер - решение рабочее, но такое себе наверное (мне лень было тогда вникать)).