Sarrazin s-a născut în Gera, Germania. Tatăl său era medic, iar mama era fiica unui moșier din Prusia de Vest. Familia sa paternă, o familie de hughenoți francezi, este originară din Burgundia. Bunica sa era englezo-italiană. El a explicat că numele său înseamnă sarazin (adică musulman) și este comun în sudul Franței. Vine de la pirații arabi care erau numiți "sarazini" în Evul Mediu. Mama sa are origini poloneze. El s-a numit pe sine însuși "o corcitură europeană".
A crescut în Recklinghausen. La vârsta de șapte ani, a mers la un orfelinat din Bavaria. A absolvit gimnaziul local și apoi a servit în armată între 1967 și 1971. Apoi, a studiat economia la Universitatea din Bonn, obținând doctoratul. Din noiembrie 1973 până în decembrie 1974 a lucrat pentru Fundația Friedrich Ebert și a devenit activ în SPD.
În 1975, Sarrazin a început să lucreze în cadrul Ministerului Federal de Finanțe. Până în 1981 a fost șef de unitate în cadrul Ministerului Muncii și Afacerilor Sociale. În 1981, s-a întors la Ministerul Federal de Finanțe. În octombrie 1981, a început să lucreze ca șef de birou și a fost un colaborator apropiat al ministrului federal de finanțe Hans Matthöfer și al succesorului acestuia, Manfred Lahnstein. Chiar și după încheierea coaliției socialist-liberale în octombrie 1982, Sarrazin a rămas în Ministerul de Finanțe. Acolo a fost director al mai multor unități, printre care (între 1989 și 1990) "Innerdeutsche Beziehungen", care a pregătit uniunea monetară, economică și socială germană. În perioada în care a fost șef al Ministerului Federal de Finanțe, a fost parțial responsabil de căile ferate germane.
Între 1990 și 1991, Sarrazin a lucrat pentru Treuhand. Apoi, până în 1997, a fost secretar de stat în Ministerul de Finanțe din Renania-Palatinat.
Sarrazin este căsătorit cu Ursula Sarrazin (născută Breit) și are doi fii.
