Holger blev født d. 17. marts 1928 i Brandstrup, Tersløse. Forældrene var Sofie Madsen og Viggo Jespersen, der sammen drev et parcelliststed i Brandstrup ved Tersløse. De havde 6 børn: Ejnar, Frimodt, Tage, Holger, Gerda og Hans.

Holger døde d. 11. januar 2018 og blev begravet fredag d. 19. januar fra Buddinge Kirke, hvor han havde været kirketjener i 25 år. Efter begravelsen blev Holger stedt til hvile på Gladsaxe Kirkegård.