În anul 1086, 15 familii și 3 sclavi trăiau în Hartley. Înainte de Moartea Neagră (1348), aici locuiau aproximativ 150 de persoane. 53 de persoane au plătit impozite în 1377, ceea ce înseamnă că atunci trăiau aici aproximativ 85 de persoane. În 1392, un document ne spune că exista o casă principală, unde locuia un manager. Acesta cultiva pământul pentru proprietar. Acest teren se numea Hartley Court. Alte persoane care dețineau terenuri în Hartley, trebuiau să meargă la curtea proprietarului și să facă alte munci pentru el. A avut loc o bătaie la Hartley Wood în 1554, între susținătorii și oponenții reginei Maria I a Angliei. Susținătorii ei au câștigat. Hartley în 1650 semăna cu locul din 1850, pentru că aproape toate clădirile erau acolo atunci. În 1770, scriitorul Edward Hasted spunea că nu multe persoane merg la Hartley.
Unele clădiri au fost construite în anii 1700 (cum ar fi Hartley House și Yew Cottage). În 1841, în Hartley locuiau 224 de persoane. Aproape toți lucrau la ferme. Existau, de asemenea, un fabricant de roți, un lucrător în metal și vânzători de băuturi.
Creșterea orașului Hartley a început după ce calea ferată a ajuns la Longfield în 1876, iar apa prin conducte a fost introdusă în 1902. Apoi, două companii - Payne, Trapps and Co Ltd și Small Owners Limited - au vândut terenuri pentru case și ferme mici. După 1945 au apărut multe case și drumuri noi.
