Счетчик с очередью

Реализовывал счетчик задач с очередью, но возникает timeout на последней пачке запросов, клиент ожидает и соединение разрывается. Скорее всего проблема в том, что очередь не до конца обрабатывается, как решить проблему?

try
    {
        if (listener.IsListening)
        {
            var context = listener.GetContext();
            var limitTask = 500;
            var limitRequest = 100;
            if (queueContext.Count() > limitRequest)
            {
                context.Response.StatusCode = (int)HttpStatusCode.ServiceUnavailable;
                context.Response.Close();
            }
            if (!queueContext.Any() && countTask < limitTask)
            {
                Task.Run(() =>
                {
                    while (queueContext.TryDequeue(out context))
                    {
                        Interlocked.Increment(ref countTask);
                        var task = Task.Run(() => HandleContextAsync(context).ContinueWith(delegate { Interlocked.Decrement(ref countTask); }));
                        var timeOfProcessing = TimeSpan.FromMilliseconds(1000);
                        if (!task.Wait(timeOfProcessing))
                        {
                            context.Response.StatusCode = (int)HttpStatusCode.ServiceUnavailable;
                            context.Response.Close();
                        }
                     }
                });
            }
            if (countTask < limitTask)
            {
                Interlocked.Increment(ref countTask);
                var task = Task.Run(() => HandleContextAsync(context)).ContinueWith(delegate { Interlocked.Decrement(ref countTask); });
                var timeOfProcessing = TimeSpan.FromMilliseconds(1000);
                if (!task.Wait(timeOfProcessing))
                {
                    context.Response.StatusCode = (int)HttpStatusCode.ServiceUnavailable;
                    context.Response.Close();
                }
            }
            else
                queueContext.Enqueue(context);
        }
    }
     private async Task HandleContextAsync(HttpListenerContext listenerContext)
    {
        //обработка запроса
        listenerContext.Response.StatusCode = (int)HttpStatusCode.OK;
        listenerContext.Response.Close();
    }