Как составить запрос MYSQL для сортировки по связаной таблице учитывая только максимальные значения подмножества

Ну так и делаете:

SELECT `i`.`name`, MAX(`p`.`value`) as `maxprice`, MAX(`p`.`value`) as `minprice` FROM `Product` `i`
INNER JOIN `Price` `p` ON `i`.`id` = `p`.`product_id`
GROUP BY `i`.`id`
ORDER BY `maxprice`

В принципе, можно не выбирать даже эти значения а сразу написать ORDER BY MAX(p.value).

Т.е., в любом случае конструкция ORDER BY отрабатывает после GROUP BY и HAVING. После неё только LIMIT идёт.