Haut-Rhin este unul dintre cele 83 de departamente originale create în timpul Revoluției Franceze la 4 martie 1790. A fost împărțit în trei districte: Altkirch, Belfort și Colmar, cu capitala Colmar.
În 1800, odată cu crearea arondismentelor în Franța, cele trei districte au fost transformate în cinci arondismente: Colmar, Altkirch, Belfort, Delémont și Porrentruy. Arondismentele Delémont și Porrentruy au fost eliminate în 1814 și transferate în Elveția.
Subprefectura Altkirch a fost mutată la Mulhouse în 1857.
Departamentul Haut-Rhin a fost eliminat în 1871, când teritoriul a devenit parte a Germaniei, cu excepția unei părți care formează Territoire de Belfort.
În 1919, Haut-Rhin a redevenit un departament, când teritoriul a devenit parte a Franței, cu districtele Colmar-Ville, Colmar-Campagne, Altkirch, Guebwiller, Mulhouse, Ribeauvillé și Thann. Capitala sa este Colmar.
Arondismentele Colmar-Ville și Colmar-Campagne au fost combinate în 1934 pentru a forma arondismentul Colmar.
Arondismentul Guebwiller a fost eliminat în 2015, iar teritoriul său a fost combinat cu Tharn pentru a forma arondismentul Thann-Guebwiller. În același an, arondismentul Ribeauvillé a fost, de asemenea, eliminat, iar teritoriul său a fost unit cu Colmar pentru a forma arondismentul Colmar-Ribeauvillé.
