Sitemap по введенному пользователем url

1. В указанном url ищешь домен, сохраняешь его.
2. Создаёшь список для хранения ссылок, переходишь по url, скачиваешь html код страницы, парсишь её на ссылки, ссылки сохраняешь в список.
3. Создаёшь пустой словарь для ссылок, в которых ты уже был.
4. Далее проходишься по списку ссылок, проверяя, что ссылка не содержится в словаре ссылок и при этом содержит в себе ранее сохранённый домен. Все ссылки, по которым перешёл добавляешь в словарь ссылок.
5. Перейдя по ссылке повторяешь действия в пункте 2 (скачиваешь html код страницы и парсишь страницу на содержащиеся ссылки).
6. Найденные ссылки добавляешь в список ссылок, а ссылки по которым ты уже перешёл добавляешь в словарь.

А если тебе только внутренние ссылки, то ещё проще: не надо искать все ссылки, ищи только ссылки, содержащие домен.

Ну и как быстрый вариант, попробуй брать домен из ссылки, а потом добавлять к нему /sitemap.xml и эти данные читать. Но не на всех сайтах есть sitemap