Как сделать, чтобы webstorm смотрел на babel config?

Что за пакет вы используете? babel-resolver, module-alias или еще какой-то? Проблема в том, что таких пакетов - множество, у каждого свой синтаксис, и поддержать их все нет ну никакой физической возможности. Поэтому ответ - никак.

В качестве workaround могу предложить создать в корне проекта файл config.js (может быть любое другое имя) и определить там ваши alias-ы в формате

System.config({
      "paths": {
         "alias/*": "./aliased/dir/*"
      }
    });

понятно, что вместо alias/* нужно подставить реальный alias из babel config, вместо ./aliased/dir/* - соответствующий путь.

В следующей версии мы также планируем поддержать path mappings в jsconfig.json