Landloperij was in de vorige eeuwen een maatschappelijk fenomeen. Aan het einde van de 18de eeuw kreeg de armenzorg met de Franse overheersing een nieuwe structuur en nam de overheid diverse initiatieven. Zo richtte ze in 1822 in Wortel een vrije landbouwkolonie op en plaatst er een groot aantal arme gezinnen in kleine boerderijen.
Het project kende geen succes en werd na de Belgische onafhankelijkheid afgevoerd.
Na de nodige aanpassingen startte de Rijksweldadigheidskolonie in 1881 opnieuw, ditmaal als een bijhuis van de kolonie van Merksplas. Landlopers en bedelaars vonden hier onderdak. De beide kolonies hadden tot aan de Eerste Wereldoorlog een bezetting van meer dan vijfduizend landlopers-gedetineerden. Met een domein van 516 hectare was de kolonie van Wortel sinds 1955 een zelfstandige instelling. Na de afschaffing van de wet op de landloperij in 1993 werd de Rijksweldadigheidskolonie van Wortel omgevormd tot strafinrichting. In 1999 werden zowel de kolonie van Wortel als die van Merksplas beschermd als cultureel-historisch erfgoed, uniek in Europa.