Een mooie bezienswaardigheid met een grootse geschiedenis is het Gelmelslot.
Na de dood van Karel de Grote in 814, vielen de Noormannen op tal van plaatsen Vlaanderen binnen om er te roven en te plunderen. Volgens de legende, voer Gelmel, één van de hoofdmannen, langs het Hollands Diep en de Dintelrivier de Mark op, destijds nog een bevaarbare rivier. In de Gelmelstraat, op de plaats waar nu het kasteel staat, bouwde hij aan de oever eerst een houten burchttoren om een uitkijkpost en een steunpunt te hebben voor zijn troepen. Rond de burcht liet hij een verdedigingswal graven die gevoed werd door de Mark. In 892 kwam er een einde aan de overheersing van de Noormannen.
Enig wetenschappelijk bewijs voor de aanwezigheid van de Noormannen in Hoogstraten is echter nooit geleverd.