Перевод оконных координат в мировые

Допустим у меня есть координата мышки относительно окна рендера. И зная масштаб матрицы и её смещение, надо найти координаты мышки относительно мирового пространства. Z координату мы не учитываем. Масштаб по X и Y одинаковый

Вывел вот такую формулу: Xмира = Xокна/Xмасштаб + Xсмещения. И так же с Y координатой. Когда я просто перемещаю матрицу или же сначала масштабирую, а затем её перемещаю, то всё отлично работает, но когда я после её смещения опять пытаюсь масштабировать матрицу, то координаты сбиваются. Наверное в формулу надо добавить какую-либо еще зависимость, но не знаю какую.

Если что, то окно с рендером создано не с помощью GLWF, а с использованием контрола из TaoFramework. Как я помню в GLWF можно было получить координату мыши в мире, но тут почему-то такого нет