Steam запуск кастомной игры

В общем случае никак. Steam использует свою службу, которая слушает запросы по протоколу steam://. "Кастомная" игра такой службы не имеет. При желании её можно написать, но учитывая, что игры могут быть разбросаны в любым местах системы, это является трудоемкой и почти не реализуемой задачей.

Узнать id сторонней игры в Steam можно, создав ярлык на рабочем столе из библиотеки игр, в свойствах ярлыка будет ссылка типа steam://rungameid/16129557454605254656, где 16129557454605254656 - id сторонней игры.

Собственно запустить игру из браузера можно вызовом ссылки из ярлыка.

Возможно на разных компьютерах id сторонней игры будет разной, не проверял.