Na lewym brzegu Wisły przy ujściu rzeczki Zgłowiączk i znajduje się pałac biskupów włocławskich. Kryje on w swych murach relikty gotyckiego zamku. Na miejscu tym już we wczesnym średniowieczu funkcjonował obronny gród. W połowie XIII wieku stał się siedzibą biskupów i jest nią do dnia dzisiejszego.
W połowie wieku XIV ówczesny biskup włocławski Maciej z Gołańczy, rozpoczął budowę zamku murowanego.