Columbia se află pe linia de cădere a Munților Apalași. Linia de cădere este locul în care bărcile nu mai pot călători mai mult în amonte și este, de asemenea, locul cel mai îndepărtat în aval unde apa care cade poate alimenta o moară.
Înainte de 1790, capitala statului era Charleston, pe coasta Oceanului Atlantic. În 1786, legislativul a decis să mute capitala în centrul statului, iar locația Columbia a fost aleasă pentru că se află pe râu, la doar 13 mile (21 km) la nord-vest de centrul geografic al Carolinei de Sud. Legislativul statului s-a întrunit pentru prima dată acolo în 1790. După ce a rămas sub guvernarea directă a legislativului în primele două decenii de existență, Columbia a fost încorporată ca sat în 1805 și apoi ca oraș în 1854. Columbia a primit un mare stimulent pentru dezvoltare atunci când a fost conectată pe o rută directă de apă la Charleston, prin canalul Santee. Acest canal a conectat râurile Santee și Cooper pe o porțiune de 22 mile (35 km). A fost înființat în 1786 și finalizat în 1800, fiind astfel unul dintre primele canale din Statele Unite. Odată cu creșterea traficului feroviar, și-a încetat activitatea în jurul anului 1850.
Columbia a fost unul dintre primele orașe planificate din Statele Unite. Este cunoscut pentru străzile sale largi.
La 17 februarie 1865, în timpul Războiului Civil, un incendiu a distrus mare parte din Columbia, care a fost ocupată de trupele Uniunii sub comanda generalului William Tecumseh Sherman.
În secolul al XX-lea, Columbia a devenit un centru regional de producție textilă. În anii 1920, oamenii de afaceri din Columbia au construit un baraj mare pe râul Saluda pentru a produce energie hidroelectrică. Barajul, folosind solul de argilă roșie nativ și roca de bază, a fost cel mai mare baraj de pământ din lume când a fost finalizat în 1930. Lacul Murray, care a fost format de baraj, are o lungime de 66 km (41 mile) și o lățime de 23 km (14 mile) în punctul cel mai larg. În momentul în care a fost finalizat, lacul era cel mai mare rezervor artificial din lume. Compania care a construit barajul a crescut și a devenit SCANA Corporation, unul dintre cei mai mari angajatori din Columbia.
Orașul Columbia a realizat recent o serie de proiecte de reamenajare și are în plan alte câteva. Cartierul istoric Congaree Vista, un district de 1.200 de acri (5 km2 ) care se întinde dinspre cartierul central de afaceri spre râul Congaree, cuprinde o serie de clădiri istorice care au fost reabilitate.