Не подключается WebSocket

Я пытаюсь из js файла подключиться к вебсокету на asp.

this.socket = new WebSocket(Мой внешний ip:8080/XHandler.ashx);

В локальной сети с локальным IP все работает отлично, но если я подымаю сайт на IIS, и пытаюсь подключится из вне по внешнему IP получаю js ошибку:

WebSocket connection to 'ws://Мой внешний ip:8080/XHandler.ashx' failed: Error in connection establishment: net::ERR_CONNECTION_TIMED_OUT

Я могу зайти на страницу по внешнему ip, контролер отрабатывает корректно. Порты открыты и проброшены. Самое интересное, если я запускаю IIS в режиме дебагинга через Visual Studio, Все странным образом начинает работать. У меня кончились варианты, подскажите куда копать.

public class XHandler : IHttpHandler
{
    private WebSocket socket;
    public bool IsReusable
    {
        get
        {
            return false;
        }
    }
    public void ProcessRequest(HttpContext context)
    {
        if (context.IsWebSocketRequest)
        {
            context.AcceptWebSocketRequest(WebSocketRequest);
        }
    }
    private async Task WebSocketRequest(AspNetWebSocketContext context)
    {
        //.....
    }
}