Как сделать коректно Subquery используя Realm

Мне кажется вы двигались в правильном направлении.

    var histCount = _db.Realm.All<HistoryItem>()
        .GroupBy(h => h.Quest)
        .Select(gr => new {Q = gr.Key, Count = gr.Count()});
    var result = _db.Realm.All<Quest>()
        // сокращаем коллекцию до join
        .Where(q => q.StartDate > start && q.EndDate < end) // todo: перепроверить условие 
        // join с группированной коллекцией элементов истории
        .Join(histCount,
            quest => quest.Id,
            hCount => hCount.Q,
            (quest, hCount) => new {Quest = quest, HCount = hCount.Count})
        // фильтрация по условиям кол-ва элементов
        .Where(it => it.HCount < it.Quest.MaxRepeats)
        // выборка результата
        .Select(it => it.Quest)
        .ToList();

Нужно было сделать обратный линк внутри Quest от HistoryItem (раньше был только прямой с HistoryItem в Quest)

public class Quest : RealmObject
{
    [PrimaryKey]
    public string Id { get; set; } = Guid.NewGuid().ToString();
    public string Name { get; set; }
    public int MaxRepeats { get; set; } 
    [Backlink(nameof(HistoryItem.Quest))]
    public IQueryable<HistoryItem> HistoryItems{ get; }       
}
public class HistoryItem : RealmObject
{
    [PrimaryKey]
    public string Id { get; set; } = Guid.NewGuid().ToString();
    public DateTimeOffset DoneTime { get; set; }
    public Quest Quest { get; set; }
}

А дальше использовать запрос с фильтром:

_db.Realm.All<Quest>().Filter("HistoryItems.@count <= MaxRepeats");

Ну и в моем случае еще нужно было игнорировать случаи когда максРипитс равен 0:

_db.Realm.All<Quest>().Filter("MaxRepeats == 0 OR HistoryItems.@count <= MaxRepeats");