Vanaf de Caumerbeek loopt de Gasthuisstraat omhoog naar het cirkelvormige stadshart. Aan deze kant bevond zich de Keulsepoort in de omwalling van het middeleeuwse fort. Nadat de gracht was dichtgegooid ontstond er een driehoekig pleintje op de T-aansluiting van de Gasthuisstraat met de Dorpsstraat (nu Pancratiusstraat). Hier stond de waterpomp.
De gedachteniskapel van Mgr. J. Savelberg (1827-1907) bevindt zich niet ver van deze plek. Savelberg kwam in 1865 als kapelaan naar Heerlen. Daar werd hij geraakt door de nood van verwaarloosde wezen en oude mensen.
Om hen te helpen richtte hij in 1867 een klein gasthuis op, dat resulteerde in een religieuze congregatie: ‘De kleine zusters van St. Joseph’.
De kapel is opgebouwd uit twee geometrische grondvormen: een rechthoek en een achthoek. Acht heeft als basis het zinnebeeld van vernieuwing. Men dacht dat achtkantige vormen bemiddelden tussen het symbool van het vierkant, dat het aardse bestaan voorstelt en het symbool van de cirkel die staat voor de hemel of de eeuwigheid.
De rechthoek met een wand van gepolijste beige/bruine graniet sluit aan op de kloosterkapel in Neogotische stijl.
Het witte beton, het vele glas, de betonnen ribben, en het koperen dak met kruis, contrasteren met deze kloosterkapel. Omdat deze feitelijk uit twee kapellen bestaat die onder een hoek van 90 graden naar hetzelfde altaar kijken vormt deze plek een bijzondere combinatie van maar liefs drie kapellen.
In de nieuwe kapel staat een tombe met het lichaam van Mgr. Savelberg. Tegen de achterwand is een mozaïek van de H. Maagd aangebracht (1951, Gène Eggen).
