Заголовочные файлы / библиотека / STL

Фактически заголовочный файл может содержать объявления (описания) и/или определения (реализации) различных сущностей (функций, классов, переменных и подобных). Если в заголовочном файле есть и объявление, и определение всех сущностей, то его можно считать header-only библиотекой, т.е. достаточно подключить заголовочный файл для того, что бы подключить библиотеку.

Но если заголовочный файл содержит объявления, но не содержит определения (или содержит не все определения), для подключения библиотеки нужно подключить эти определения (или не использовать сущности без определений, что тоже допустимо). Они могут содержаться в другом заголовочном файле (это может быть полезно в случае больших библиотек шаблонов для уменьшения времени компиляции), или в файле реализации (cpp).

Так как cpp-файлов может быть много, их нужно связать вместе, для чего каждый в отдельности компилируется в статическую или динамическую библиотеку, а затем эти библиотеки связываются линковщиком на основе объявлений в заголовочных файлах.

Это относится и к стандартной библиотеке, но в этом случае большая часть определений подключается по-умолчанию, достаточно только подключить заголовочный файл. Для некоторых библиотек нужно подключать определения вручную, например библиотека потоков в gcc подключается флагом -lpthread.

В целом — да. Но только вот библиотека, это не только функции, а еще и классы и переменные, константы и т.д. Подключая стандартные заголовочные файлы их имена следует обрамлять в треугольные скобки:

#include <ctime>

Этим задается правильный порядок поиска файлов. Более подробно об этом аспекте в отдельном вопросе: В чем различие между двумя формами директивы #include: в кавычках и в скобках?