Numele râului provine de la un cuvânt algonquian, lappihanne (înregistrat, de asemenea, ca toppehannock), care înseamnă "râu cu ape repezi și în creștere" sau "acolo unde fluxul și refluxul se schimbă", nume folosit de populația nativă locală, tribul Rappahannock.
Deși au existat câteva cătune mici de-a lungul cursului inferior al râului Rappahannock în perioada colonială timpurie, colonizarea văii râului Rappahannock a început în mod serios în primii ani ai secolului al XVIII-lea, la îndemnul guvernatorului Alexander Spotswood. Râul James fusese cercetat până la linia de cădere, punctul în care, din punct de vedere geologic, roca continentală de bază a Piemontului se întâlnește cu rocile sedimentare și solurile aluviale ale câmpiei de coastă. Spotswood a încurajat așezarea într-o altă vale fluvială decât cea a râului James. În 1714, a început să caute imigranți din Renania-Palatinat și Elveția pentru a se stabili pe terenurile pe care le controla în apropierea locului unde se întâlnesc Rappahannock și Rapidan. Cunoscute sub numele de așezarea (așezările) Germanna, aceste sate au fost fondate pentru a exploata depozitele de minereu de fier din regiune.
Bătălia de pe râul Rappahannock a avut loc pe râu în timpul Războiului din 1812. Șaptesprezece ambarcațiuni britanice pline cu sute de pușcași marini și marinari au capturat patru corsari americani.
În timpul Războiului Civil American, râul, cu puține vaduri convenabile și mai puține poduri, a constituit o barieră și o linie defensivă. În spatele acestei linii, trupele nu se temeau prea mult de un atac de pe malul râului. A fost o barieră deosebit de dificil de depășit pentru trupele Uniunii în încercările lor de a pătrunde în sudul Virginiei. Controlul râului a trecut de mai multe ori de la un loc la altul pe parcursul războiului. Printre bătăliile importante purtate de-a lungul râului se numără Bătălia de la Fredericksburg și Bătălia de la Rappahannock Station. Linia defensivă de la râu a fost în cele din urmă ocolită de Ulysses S. Grant în campania Wilderness (sau Overland) din 1864, care s-a încheiat cu victoria finală a Uniunii.
În unele documente din secolele al XVIII-lea și al XIX-lea, inclusiv în unele înregistrări din timpul Războiului Civil, râul Rappahannock a fost denumit "Hedgeman's River" Un studiu din 1736-1737 a etichetat Rappahannock deasupra gurii Rapidan drept "Cannon", iar mai în amonte a fost identificat ca "Hedgeman's River", după numele lui Nathaniel Hedgeman, un colonist timpuriu din regiune.