Sinds mensenheugenis is het pand van oudsher genaamd ‘Den Gulden Os’ beeldbepalend voor de Dordtse binnenstad. Dit imposante woonhuis is rond 1520 in opdracht van een schepen van de stad gebouwd. Welgestelde eigenaren lieten het interieur verfraaien met onder andere goudleer behang. Het herenhuis heeft verschillende bestemmingen gehad, zo diende het enige tijd als kostschool voor jongens.In de vroegere dancing ‘de Groene Kar’ woonden in vroeger tijden een apotheker, een predikant en ook een reder. Veelvuldig werden zogenaamde reetrekkers ingeschakeld om te bemiddelen bij burenruzies over bouwkundige zaken. Eind negentiende eeuw werd de Dordtsche Bank in het pand gevestigd. Door bij verkoop van zijn pand een kettingbeding in de akte op te nemen voorkwam de arts dr. F. Delhez dat het pand ingericht zou worden als bioscoop. De restaurateur Herre Teitsma kocht beide panden in 1919 en richtte ze in tot lunchroom en theaterzaal. Dansleraar Wim van de Stigchel maakte er in 1955 een populaire dansgelegenheid van, waar menig Dordtenaar zijn huwelijkspartner heeft gevonden. Na een drastische verbouwing betrok de bibliotheek beide rijksmonumenten in 1986.