Интерактивный бот

Пишу работу - бота для вуза, а точнее для сайта вуза раздела преподаватели. На селениуме по сути все написано и работает. Но вот возникает вопрос, сервис мены обслуживающие сайт любят раз в квартал добавить новые элементы, переделать структуру сайта итп. Посему возникла идея интерактивного бота.

Сам бот клиент - сервер. Клиент на с#, сервер на python 3.x, в котором реализована вся логика и отсылает статусы клиенту после целевого действия.

Идея состоит в следующем: При первом запуске начинается захват экрана и пользователь сам выполняет все, что ему нужно, дальше все нажатые кнопки и ссылки сохраняются в какой нбдь ini файл, а дальше бот начинает работать по этому ini файлу. Если что-то поменялось, снова запускает юзер интерактив и перезаписывает ini.

Вопрос: возможно ли такое реализовать? Как это реализовать? Куда рыть и все такое.

П. С. Ну естественно без костылей, типа следить за положением курсора. Надо именно как-то получать xpath - ы нажатий и вводимые значение value у input - ов, селектов итп)

Спасибо за внимание.