Словарь с разными типами значений

К сожалению, мне кажется, без свича точно определить возвращаемый тип нельзя.

Я не знаю, для каких целей вам нужна именно такая архитектура, но более-менее допустимыми решениями можно считать следующие:

• Подумайте, нужно ли вам вообще возвращать какой-то тип. Если у вас подразумевается логика "пришёл неизвестный файл, я кладу его в ящик (интерфейс), а он уже сам знает что с ним делать", почему бы тогда и обработку полученных данных не делать в подобных DataExtractor'у классах, например IDataHandler, который использует IDataExtractor.
• Можно возвращать вместо конкретного типа абстрактный тип (например Data), а в классе Data уже сохранять информацию о том, как надо работать с данными. Короче, придумать обобщённый интерфейс. Но и тут без перебора вариантов if'ами или свичем не обойдётся.

UPD: Совсем забыл, если вы планируете работать с этой структурой, заранее зная расширения файла, например вот так:

var textData = Extractors.Get(Extensions.TXT);

То советую пересмотреть Ваш вариант, возможно иная структура классов или иной метод получения нужного экстрактора подойдёт лучше. Вот например:

var extractor = new TextDataExtractor();