În 1966, Harrison s-a căsătorit cu un fotomodel, Pattie Boyd, dar au divorțat în 1971 și nu au avut copii. Boyd l-a părăsit pe Harrison pentru a fi cu prietenul său, chitaristul Eric Clapton, dar toți trei au rămas prieteni. Harrison s-a căsătorit din nou în 1978, cu Olivia Trinidad Arias, de origine americană, care lucrase pentru casa sa de discuri. Arias a devenit mama fiului lui Harrison, Dhani, al cărui nume este format din numele a două note din scara muzicală indiană. Dhani a crescut și a devenit muzician ca și tatăl său, fiind liderul trupei thenewno2. El a urmat cursurile Universității Brown din Statele Unite.
La sfârșitul anilor 1970, Harrison a înființat o companie de producție cinematografică, Handmade Films, care a produs filme precum Monty Python's Life of Brian și Time Bandits al lui Terry Gilliam.
Teritoriul casei lui Harrison, Friar Park, a fost mai mult sau mai puțin deschis publicului până la uciderea fostului său coleg de trupă, John Lennon, la sfârșitul anului 1980. Harrison a fost foarte rănit și șocat de moartea lui Lennon și se temea că cineva ar putea încerca să-i facă rău lui sau familiei sale. Ulterior, porțile au fost încuiate și au fost afișate anunțuri de interzicere a accesului. În decembrie 1999, un intrus a pătruns în locuința sa, înjunghiindu-l cu un cuțit. Harrison și soția sa, Olivia, l-au oprit pe intrus și au chemat poliția. Harrison și-a revenit. Bărbatul care l-a atacat este schizofrenic și a fost achitat de tentativă de omor pe motiv de nebunie în noiembrie 2000 la Oxford Crown Court. El a fost trimis într-un spital de boli mintale și a fost eliberat în 2002.