Außerhalb der Stadtmauer lebten die sogenannten "Beiwohner", Aspiranten auf das Bürgerrecht, das ihnen nicht nur den Schutz der Mauer bot, sondern die Nutzungsrechte an der Allmende garantierte.

Gleich außerhalb des Obertores stehen die Sandsteinfiguren des Zollers. Der Zoller diente sowohl der Stadt als auch den Herren der Stadt, den Bischöfen. Das mögen die beiden Wappen andeuten, auf die sich der Zoller (der Stadtknecht) stützt: links das Markdorfer Rad - hier mit sieben Speichen - und das Konstanzer Kreuz mit dem Band des "Blutzagels".

Der Zoller überwachte den Markt und ahndete zivilrechtliche Angelegenheiten. Ihm unterstand die Abfertigung der "Bettelfuhr", wenn die Bettler nach dem Marktgeschehen in die nächste Marktstadt gekarrt wurden.