Как задать клики по координатам в Selenium(Java)

Добрый день, подскажите как правильно задать в селениуме клики по координатам?

К примеру есть карта и необходимо произвести несколько кликов по ней, в данном случае красные точки это клики.

Я написал так:

Actions builder = new Actions(driver); 
    WebElement knownElement = driver.findElement(By.cssSelector("selector"));
    builder.moveToElement(knownElement, xOffset, yOffset).click().build().perform();

Но он работает через раз, не знаю почему, ошибки никакие не валятся. Запускаю в хроме ибо в мазиле знаю баг в новом вебдрайвере.

П.С. Проверял на работоспособность в онлайн пейнте, там легко отслеживать клики можно. Так вот порой он кликает куда я ему указал, а порой не кликает оО не знаю почему, при том что код я не менял, работает когда хочет