Lee a moștenit un număr de sclavi odată cu Arlington House. El s-a dovedit a nu fi un stăpân de sclavi foarte bun. A încercat să fie amabil și a refuzat să folosească tortura. Dar sclavii știau că libertatea le fusese acordată prin testament și au refuzat să muncească. Lee a vrut să le acorde libertatea, dar avea nevoie de ei pentru a-l ajuta să ducă la bun sfârșit lucrările de la Arlington House. Personal, Lee ura sclavia, numind-o un "rău" atât pentru
negri, cât și pentru albi. Dar el credea că trebuia să se pună capăt treptat, altfel economia Sudului s-ar fi wikt:prăbușit. Însă Lee a fost de acord cu alți sudisti care credeau că negrii erau inferiori. El credea că
Dumnezeu va rezolva problema la timpul său. Lee, ca și Thomas Jefferson, avea sentimente amestecate în legătură cu sclavia.
Alegerea lui Abraham Lincoln în 1860 a determinat mai multe state să se separe în semn de protest. Acest lucru l-a pus pe Lee într-o poziție dificilă. Statele Confederate ale Americii nou formate i-au oferit lui Lee gradul de general de brigadă. Lee nu a răspuns ofertei. Winfield Scott i-a oferit comanda armatei de voluntari americani. Nu a răspuns nici la această ofertă. Între 12-14 aprilie 1861, trupele americane au fost bombardate la Fort Sumter din Charleston, Carolina de Sud. În aceeași zi, Virginia a făcut secesiune din Uniune. Lee nu susținea secesiunea, dar nu putea lupta împotriva propriului stat Virginia. Lee și-a dat demisia din funcția de membru al armatei americane la 22 aprilie 1861, la Arlington House. El le-a spus prietenilor săi că nu va lua parte la o invazie a Sudului. Câteva zile mai târziu, a acceptat comanda tuturor forțelor din Virginia.
La început, Lee nu a comandat niciun soldat în luptă. În schimb, l-a ajutat pe președintele Confederației, Jefferson Davis, să ia decizii militare. În 1862, a devenit comandantul Armatei Virginiei de Nord. El avea să conducă armata pentru tot restul războiului. Va câștiga multe bătălii, chiar dacă armata Uniunii în bătălii avea mai mulți oameni și arme. În bătălia de la Gettysburg, a încercat să invadeze Uniunea pentru a pune capăt războiului. Dar armata sa a fost înfrântă și a trebuit să se retragă înapoi în Virginia.
În anii 1864 și 1865, Lee s-a luptat cu generalul Uniunii Ulysses S. Grant în Virginia. La sfârșitul anului 1864 și începutul anului 1865, Lee și Grant au luptat în apropiere de Richmond, Virginia, într-o serie de bătălii numite Asediul Petersburgului. În aprilie 1865, Grant l-a forțat pe Lee să se retragă din Richmond. După o serie de bătălii, Grant l-a înconjurat pe Lee lângă Appomattox Courthouse și l-a forțat pe Lee să se predea. Înainte de a se preda, acesta a spus: "Mai degrabă aș muri de o mie de ori decât să mă predau".