Het kasteel is bekend sinds de 14e eeuw en werd bewoond door diverse adellijke families. Opgetekend is de naam Van Geitsbach tot der Worm. Naar deze familie is het kasteel later genoemd, nadat het eerder als Geitsbach bekend was.
In 1498 kwam het kasteel in bezit van de schout van Heerlen, Diederick van Pallandt. In 1542 werd het kasteel door brand verwoest en rond 1550 weer herbouwd in dezelfde stijl, echter nu met een zadeldak tussen twee trapgevels.
Het ontstaan van het huidige landschapspark Terworm is vooral de verdienste van Frederik Willem van Wylre in de eerste helft van de 18e eeuw door te beginnen met het opkopen van de nabijgelegen goederen en boerderijen.
In de 18e eeuw (1767) werd het kasteel door Maximiliaan, graaf van der Heyden-Belderbusch, gerestaureerd, en werd voor het kasteel een tuin in Franse rococostijl aangelegd.
In 1840 vererfde het kasteel en goederen aan Antoinette von Böselager, gehuwd met Otto Napoleon baron de Loë-d’Imstenraedt. Na haar overlijden kwam het kasteel in bezit van de baron.
Na de verkoop in 1917 aan de Oranje-Nassau Mijnen raakte het kasteel in de loop van de twintigste eeuw steeds meer in verval. Het werd in 1987 opgekocht door hotelketen Van der Valk. Deze restaureerde en verbouwde het kasteel in de periode 1997-1999 tot hotel-restaurant. Dit gebeurde op basis van een restauratieplan van de architecten Hamers en Voorvelt van HVN Architecten. In 2003 kwam de reconstructie van de rococo-tuin, met leifruitmuur en Oranjerie, gereed.
