Java, помогите с security.policy

Мне нужно сделать, чтобы программа могла занимать только один порт, это я сделал с помощью флагов: -Djava.security.manager -Djava.security.policy=server.policy и в файле server.policy написал:

grant {
    permission java.net.SocketPermission "127.0.0.1:2565", "connect,accept,resolve";
};

Но проблема в том, что такое решение, блокирует доступ ко всему, и только вот это работает. Вариант просто написать всё, что требует программа просто нереален. Учитывая что эта программа (сервер) имеет возможность добовления плагинов, то есть или в файле просто как-то, где-то найти список всего и туда добавить, или же возможно решение по типу разрешить всё, но ограничить java.net.SocketPermission. Ну разрешить всё можно java.security.AllPermission, а Вот как то ограничить, без понятия.

Спасибо!