Pele se ženio tri puta i imao nekoliko afera, iz kojih je dobio sedmoro dece. Februara 1966, Pele je stupio u prvi brak u svojoj 26 godini sa Rosemeri u Brazilu, a zatim su otišli na dvonedeljni medeni mesec
Par se razveo 1982. posle četrnaest godina zajedničkog života kada je Pele otišao da igra u Njujorku, a Rosemeri je ostala u malom stanu sa decom. Imali su troje dece: Kristina(1967), Dženifer (1978) i sina Edson -Edinho (1970).
Brak sa Rosemeri se raspao kad je Pele je bio optužen za preljubu i u javnosti stekao reputaciju "ženskaroša". On je navodno dobio dvoje različite dece s dve različite žene tokom svog prvog braka, a jedna od njih je bila njegova služavka.
Peleova ćerka Sandra rođena je u aferi koju je mladi Pele imao (1963-1964) sa svojom kućnom pomoćnicom Aniziom. Zanimljivo je da je Anizia bila jedina žena crne puti sa kojom je Pele imao dužu vezu, pa su ga u Brazilu jedno vreme optuživali da je "rasista".
Anizia se borila da Pele prizna dete, ali je on odbijao da se podvrgne testovima. Njena ćerka Sandra je nastavila da traži službeno priznanje od Pelea da je njen otac, ali tek 1996. nakon testa DNK uspela je da dokaže da je zaista njegova ćerka, posle čega će početi da koristi prezime Nascimento.
Pele nije želeo da preuzme očinstvo zbog skandala koji bi dete izvan braka prouzrokovalo. Na veliku nesreću, Sandra je umrla 2006. godine od raka dojke.
Iako je Pele na sudu konačno priznao svoju ćerku Sandru, odnos između njih nikad nije bio dobar i Pele je odbijao da prizna i njeno dvoje dece, Oktavia i Gabrijela.
Nikada im nije pružio nikakvu moralnu ili finansijsku pomoć a video ih je samo jednom u životu. Tek dosta nakon smrti njegove dugo nepriznate ćerke, sud naložio kralju fudbala da plaća unucima mesečnu stipendiju od 4.746 dolara.
To nije jedini problem koji Pele ima sa potomcima, u maju 2014, Peleov sin iz prvog brak Edinho je u svojoj 33 godini bio zatvoren zbog pranja novca od trgovine drogom. I Edinjo se žalio da je odrastao bez oca, i da je to uzrok što se nije snašao u životu.
Pele je imao još jednu ćerku u vanbračnoj aferi 1968. godine sa novinarkom Lelinito Kurtz. Za razliku od Sandre, Pele je priznao Flavio Kurtz kao svoju ćerku, prenosi "Sirom zatvorenih ociju".
Od 1981. do 1986. godine, Pele je bio romantično povezan sa TV voditeljkom, Šušom koja je dosta uticala na njegovu karijeru. Imala je 17 godina kada su počeli da žive zajedno.
Posle razlaza sa njom, Pele se sastajao sa , bivšom mis Brazila iz 1989. godine. Ana Flavija Kavankanti u aprilu 1994. godine, Pele se smirio i drugi put oženio sa psihologom i pevačicom po imenu Asirija Lemos, svadbenoj ceremoniji u anglikanskoj episkopskoj crkvi u Recife (Brazil).
Godine 1996. dobili su blizance, uz pomoć tretmana plodnosti. Bili su venčani dvanaest godina do njihovog razvoda 2008. godine. Godine 2008. Pele se susreo sa Marša Aoki koju je upoznao još 1980. godine u Njujorku kada je bila udata za svog prvog muža. Sreli su se u liftu luksuzne zgrade u Sao Paolu gde su oboje stanovali u vreme kada je ona prolazila kroz razvod.
Pele je pomenuo da upravo renovira svoj apartman, a Marcia ga je odvela da pogleda kako je ona renovirala svoj. Četiri godine kasnije u svojoj 73. godini, Pele je objavio svoju nameru da se oženi sa 41-godišnjom Japankom, Aoki je poslovna žena, japansko-brazilski uvoznik medicinske opreme iz Sao Paola.
Na kraju su se venčali u julu 2016. u Guariji na obali Sao Paola uz ceremoniji od stotinak gostiju. Peleova treća supruga Marša je 33 godine mlađa od njega. Pele je u svojoj 75, izjavio za novine da je ovoga puta pronašao "ljubav zauvek".
Aoki mu je pružala veliku podršku tokom nekoliko njegovih zadržavanja u bolnici od 2012. godine pa sve do danas, njegove smrti.
