De Schelmentoren is het oudste nog zichtbare gedeelte uit de middeleeuwse geschiedenis van Heerlen. Wellicht is het een verdedigbare woontoren geweest voor de Rijnlandse graven Van Are, de toenmalige heren van Heerlen. De verdiepingen dienden dan als woning, die in tijden van onrust kon worden afgesloten, onder andere door het weghalen van de ingang (ladder, trap) naar de eerste verdieping.
Het rechthoekige gebouw is opgetrokken uit kolenzandsteen, Kunradersteen en baksteen en stamt uit de 12e eeuw. De aanbouw, met daarin een ronde spiltrap van hout, dateert uit latere eeuwen. Dit geldt eveneens voor de gehele westzijde en de reparaties aan de overige gevels die zijn uitgevoerd in baksteen en dateren uit de 18e en 19e eeuw.
De dorpskern van Herle, centrum van een veel groter ‘Land van Herle’, werd in de late middeleeuwen uitgebouwd tot een heuse ‘Kirchenfestung’ met een omwalling, grachten, poorten en veel ondergrondse bergruimten.
De toren en zeker ook de Sint Pancratiuskerk met weerbare donjon (nu kerktoren) hebben deel uitgemaakt van dit verdedigingssysteem. De toren wordt na 1650 aangeduid als ‘Gevangentoren’. In de Franse Tijd (1795-1814) en de 19e eeuw verandert er veel. De toren wordt onder andere gebruikt als ‘gemeentehuis’ en vergaderplaats van het vredegerecht (voorloper kantongerecht). Het ‘Sjelmetureke’ verliest na 1850 geleidelijk zijn functie als gerechtshuis en gevangenis. De naam Schelmentoren raakt ingeburgerd, een naam die misschien pas 100 jaar oud is. Sedert de restauratie in 1975 wordt de Schelmentoren beheerd door de carnavalsvereniging de Winkbülle.
