Zbog smažne energije koju je posedovao, zvali su ga "besmrtni" i obožavao je žene, naročtio mlađe. Iako je bio u braku dva puta i ima petoro dece, Berluskoni je ostao poznat po svojim brojnim romansama i aferama, što može izazvati divljenje ili kontroverze. Naime, od kako ga je supruga Veronika Lario napustila 2009. godine pod obrazloženjem da se preterano "druži sa maloletnicama", Silvio je živeo punim plućima.
Jedna od najpoznatijih afera koja je skrenula pažnju javnosti bila je sa Olivijom Burato, koja je bila mnogo mlađa od njega. Njihov odnos je privukao mnogo medijske pažnje, kako zbog razlike u godinama tako i zbog činjenice da je Berluskoni bio oženjen u to vreme.
Čak je i 2010. godine pokrenuta opsežna istraga o "bunga-bunga" žurkama Silvija Berluskonija, na kojima je navodno bilo mnogo maloletnica. Ipak, Berluskoni je iz svih skandala izašao relativno nepovređen, jer je uspeo da se nakon svega zadrži u političkim vodama Italije.
Međutim, mnoge žene ne mogu a da mu ne zamere skandal koji je izbio kada je ostavio svoju dugogodišnju devojku Frančesku Paskal koja je u to vreme sa 34 godine, po njegovim rečima bila "prestara za njega i u zrelim godinama".
"Zauvek će mi biti drag. Želim mu svu sreću sveta i nadam se da će naći nekoga ko će o njemu brinuti kao ja," rekla je Frančeska tada, koju italijanski mediji navode kao krivca za raspad veze. Naime, ona je, navodno, stalno insistrala da je Berluskoni oženi, pa je izgleda takav stav i doveo da toga da bude ostavljena.
Kada joj je Berluskoni saopštio da planira da se raziđu, ona je bila i te kako zatečena njegovom odlukom. Ipak, mirno su se razišli i Frančeska je ostala da živi u luksuznoj vili koju joj je kupio ranije Berluskoni.
Posle Frančeske, Silvio je započeo vezu sa 33-godišnjom Martom Fašinom koja je od njega mlađa 53 godine. Venčali su se u martu 2022. Ipak, bio je to simboličan čin u čast njihove veze ali ne i pravo venčanje koje su njegova deca zabranila.
Njegovi naslednici ne daju Marti ni cent očevog bogatstva od pet milijardi dolara. Ona je bila veoma ljuta što nije imala pravu svadbu, ali je zato nosila Antonio Riva venčanicu od francuske čipke i sa plaštom dugačkim tri i po metara. Cena te haljine bila je 20.000 evra dok je Berluskoni nosi Armani odelo, a procenjeno je da je ovo "nevenčanje" koštalo oko 400.000 evra.
