Как узнать какие есть файлы на сайте?

В общем случае такую информацию узнать нельзя, т.к. обычно выставлена защита на сайтах от перечисления папок и получения списка файлов. Только если включена возможность перечисления папок, что бывает редко, тогда можно набрать имя папки в браузере, например mysite.org/folder_name/, и возможно оно выдаст список файлов. Если список получать нельзя у папки, можно только перебирать возможные папки и имена и пытатьтся скачивать их.

Также можно попробовать поискать в гугле через "site:SITENAME filetype:txt" (например найти все TXT на archive.org), он вернёт список всех индексированных TXT файлов на заданном сайте, конечно если на них какая-то страница сайта где-то ссылалась, если ссылок на файлы нигде нет на страницах то и гугл не найдёт.