În anii 1830, sclavia a devenit o problemă din ce în ce mai polarizantă în Statele Unite. Adams, care se opunea de mult timp sclaviei, s-a folosit de noul său rol în Congres pentru a lupta împotriva acesteia și a devenit cel mai important lider național care se opunea sclaviei. După una dintre victoriile sale la realegere, el a declarat că trebuie să "aducă ziua profețită în care sclavia și războiul vor fi alungate de pe fața pământului". El a scris în jurnalul său privat în 1820:
Discuția despre această problemă din Missouri a trădat secretul sufletelor lor. În rezumat, ei admit că sclavia este un rău, o resping și aruncă totul pe umărul... Marii Britanii. Dar atunci când sunt cercetați în profunzime în această privință, ei arată în adâncul sufletului lor mândria și lăudăroșenia în condiția lor de stăpâni. Ei disprețuiesc simplitatea manierelor unui yankeu, pentru că acesta nu are obiceiuri de dominație ca ale lor și nu poate trata negrii ca pe niște câini. Printre relele sclaviei se numără și faptul că ea pătează înseși sursele principiilor morale. Ea stabilește false estimări ale virtuții și ale viciilor: căci ce poate fi mai fals și mai lipsit de inimă decât această doctrină care face ca primele și cele mai sfinte drepturi ale umanității să depindă de culoarea pielii?
În 1836, parțial ca răspuns la prezentarea constantă de către Adams a unor petiții ale cetățenilor care solicitau abolirea sclaviei în Districtul Columbia, Camera Reprezentanților a impus o "regulă a călușului", care punea imediat pe tapet orice petiție referitoare la sclavie. Regula a fost favorizată de democrați și de whigs din sud, dar a fost în mare parte respinsă de whigs din nord, precum Adams.
La sfârșitul anului 1836, Adams a început o campanie de ridiculizare a proprietarilor de sclavi și a regulii călușului. El a încercat frecvent să prezinte petiții împotriva sclavagismului, deseori în moduri care au provocat reacții puternice din partea reprezentanților din Sud. Deși regula călușului a rămas în vigoare, discuția declanșată de acțiunile sale și de încercările altora de a-l liniști a ridicat întrebări legate de dreptul la petiție, dreptul la dezbatere legislativă și moralitatea sclaviei. Adams a luptat în mod activ împotriva regulii tăcerii timp de încă șapte ani, propunând în cele din urmă rezoluția care a dus la abrogarea acesteia în 1844.
În 1841, la cererea lui Lewis Tappan și a lui Ellis Gray Loring, Adams s-a alăturat cauzei Statele Unite vs. Amistad. Adams s-a prezentat în fața Curții Supreme în numele sclavilor africani care se revoltaseră și au capturat nava spaniolă Amistad. Adams a apărut pe 24 februarie 1841 și a vorbit timp de patru ore. Argumentul său a avut succes; Curtea s-a pronunțat în favoarea africanilor, care au fost declarați liberi și s-au întors la casele lor.