Con la rapida diffusione dell'utilizzo dei francobolli nacque in breve tempo anche il fenomeno del loro collezionismo, la filatelia.
Fu il collezionista francese Georges Herpin a coniare nel 1864 il termine "filatelista", neologismo di etimologia greca che significa "amante dell'assenza di tassa": un concetto forse un po' arido per descrivere la passione di molti filatelici, ma che si impose rapidamente in moltissime lingue del mondo.
Un moderno classificatore a listelli per francobolli
Inizialmente i francobolli venivano recuperati dalla corrispondenza e utilizzati a scopo anche decorativo, finché fecero la loro comparsa i primi albi per collezionisti (il primo nel 1860), e il francobollo divenne un bene con un valore collezionistico separato da quello nominale.
Risale al 1861 il primo catalogo di francobolli ad opera del francese Alfred Potiquet, che si era basato sul lavoro svolto qualche mese prima dal connazionale Oscar Berger Levrault. Il 15 dicembre 1862 uscì la prima copia del Monthly Advertiser, la prima rivista specializzata in campo filatelico ad avere un futuro duraturo, ma preceduta dall'effimero British Monthly Intelligence.
Dato che ai primordi della storia postale le emissioni di francobolli erano di rara frequenza e limitate a poche nazioni, i primi filatelici si dedicarono alle raccolte generali di francobolli provenienti da tutto il mondo - una cosa oggi impensabile vista l'enorme quantità di francobolli che vengono emessi annualmente.
Ai primi ausili pratici per filatelisti si affiancarono le prime riunioni di collezionisti: già nel 1856 ebbero luogo negli Stati Uniti le prime riunioni di filatelisti, mentre al 1866, sempre negli USA, risale la fondazione della Excelsior Stamp Association, la prima associazione filatelica del mondo.
Il 18 marzo 1872 ad opera di J.W.Scott venne compilato il primo catalogo d'asta filatelica.