Het handelsvervoer over land was vanwege de vele roversbenden op het platteland erg gevaarlijk. Maar er waren ook ‘beroepsrovers’: de weg van Kampen naar Zwolle liep bij het huidige Westenholte langs een rivierduin waar het kasteel van de heren van Voorst stond. Deze ‘heren’ waren roofridders en ze maakten de omgeving flink onveilig. In 1297 had de bisschop van Utrecht bepaald dat Sweder van Voorst nooit het ambt van schout mocht bekleden. Dat was Sweder in het verkeerde keelgat geschoten, en in 1324 liet hij uit wraak de stad Zwolle in brand steken. Omdat de meeste huizen van hout waren, werd Zwolle grotendeels in de as gelegd. Het beroven van karren met handelswaar die vanuit Kampen onderweg waren richting Duitsland was voor de heren van Voorst ook een lucratieve activiteit. Voor bisschop Jan van Arkel en de steden Kampen, Zwolle en Deventer was de maat vol en in 1362 trokken ze met een gezamenlijk leger op tegen kasteel Voorst. Na vijftien weken belegering werd het kasteel veroverd en met de grond gelijk gemaakt; het kasteel is nooit meer opgebouwd.
Een mooie smeedijzeren deur uit kasteel Voorst werd door de stadssoldaten in triomf meegenomen naar Kampen. Daar werd de deur ingebouwd in de doorgang van de Schepenzaal naar het torentje van het stadhuis. In dit stadhuistorentje waren de stadskist en de belangrijkste oorkonden (charters) van het stadsarchief opgeslagen. Deze gezegelde charters waren heel belangrijk voor de stad omdat ze bewijsstukken vormden van gemaakte afspraken met steden in binnen- en buitenland. Toen jaren later in het stadhuis brand uitbrak heeft de zware smeedijzeren deur voorkomen dat ook het torentje werd getroffen. Zo is ook de charter met het handelsprivilege van koning Abel uit 1251 bewaard gebleven.
Het probleem van de roofridders in Voorst was dan wel opgelost, feit bleef dat karren met handelsgoederen onderweg vaak door roversbenden werden aangevallen. Daarom werden bewapende begeleiders ingehuurd om de handelaren en hun goederen te beschermen. Dit extra personeel veroorzaakte voor de handelaren uiteraard extra kosten waardoor minder winst kon worden gemaakt. Dus als het even kon dan zocht een handelaar een andere mogelijkheid van vervoer: over water.