Считывание файла с помощью итераторов

Можно ли сделать следующее без использования классических циклов и счётчиков, а с помощью итераторов?

Сначала считать значения из файла обычным оператором << (конфигурационные переменные), потом, начиная с текущего места в файле, считать n значений в вектор с помощью итератора на текущий элемент и продвинутого итератора на n элементов. В конце считать остаток в другой вектор.

Как я себе это представляю (в файле строка 1 2 3 4 5):

#include <iostream>
#include <algorithm>
#include <vector>
#include <fstream>
#include <iterator>

int main() {
    std::ifstream file("test.txt");
    int first;
    file >> first;
    std::cout << "First: " << first << '\n';
    std::vector<int> next{std::istream_iterator<int>(file), std::next(std::istream_iterator<int>(file), 2)};
    std::cout << "Next 2 elements: ";
    std::copy(next.begin(), next.end(), std::ostream_iterator<int>(std::cout, " "));
    std::cout << '\n';
    std::vector<int> rest{std::istream_iterator<int>(file), std::istream_iterator<int>()};
    std::cout << "Rest: ";
    std::copy(rest.begin(), rest.end(), std::ostream_iterator<int>(std::cout, " "));
    std::cout << '\n';
}

Однако вектора оказываются пустыми. Если не использовать вектор next, то rest выведется правильно, так что проблема думаю в std::next() -- он не просто продвигает итератор, но и продвигает файловый указатель. Можно ли как то добиться желаемого?

UPD

Разобрался, почему не работает.

1) "The actual read operation is performed when the iterator is incremented, not when it is dereferenced. The first object is read when the iterator is constructed. Dereferencing only returns a copy of the most recently read object."

2) "Two stream iterators are equal if both of them are end-of-stream iterators or both of them refer to the same stream."

Вариант с сохранением итератора от @AR Hovsepyan также не работает из-за 2), хоть итераторы указывают на правильные элементы.

Можно ли сделать это как-то по-другому?