Termenul "chimie fizică" a fost folosit pentru prima dată de Mihail Lomonosov în 1752. El a prezentat un curs cu titlul "Un curs de chimie fizică adevărată" (în rusă: "Курс истинной физической химии") studenților de la Universitatea din Petersburg.
Chimia fizică modernă a fost dezvoltată între anii 1860 și 1880, cu lucrări privind termodinamica chimică, electroliții în soluții, cinetica chimică și alte subiecte. În 1876, Josiah Willard Gibbs a scris un articol intitulat "On the Equilibrium of Heterogeneous Substances" (Despre echilibrul substanțelor eterogene). Acest articol a introdus multe dintre părțile principale ale chimiei fizice, cum ar fi energia lui Gibbs, potențialele chimice, regula fazelor lui Gibbs. Alte descoperiri importante includ lucrările lui Heike Kamerlingh Onnes privind entalpia și procesele macromoleculare.
Prima revistă științifică despre chimia fizică a fost revista germană Zeitschrift für Physikalische Chemie. Aceasta a fost fondată în 1887 de Wilhelm Ostwald și Jacobus Henricus van 't Hoff. Cei doi chimiști și Svante August Arrhenius au fost cei mai importanți oameni din domeniul chimiei fizice la sfârșitul secolului al XIX-lea și începutul secolului al XX-lea. Toți trei au primit Premiul Nobel pentru chimie.
Descoperiri importante au fost făcute în secolul al XX-lea. Printre acestea se numără aplicarea mecanicii statistice la sistemele chimice și lucrările lui Irving Langmuir privind coloizii și chimia suprafețelor. În anii 1930, Linus Pauling și alții au aplicat mecanica cuantică pentru a dezvolta chimia cuantică. Teoriile chimice au crescut odată cu noile descoperiri experimentale. În secolul XX au apărut noi forme de spectroscopie, printre care: spectroscopia în infraroșu, spectroscopia cu microunde, spectroscopia EPR și spectroscopia RMN.
Chimia fizică s-a îmbunătățit, de asemenea, odată cu descoperirile din domeniul chimiei nucleare, în special în ceea ce privește separarea izotopilor. Acest lucru s-a întâmplat în perioada de dinaintea și din timpul celui de-al Doilea Război Mondial. Chimiștii au descoperit fapte importante în astrochimie.
