Het oudste schoolgebouw van de Latijnse School stond nabij de Grote Kerk in Dordrecht. In 1579 verhuisde de school naar de hoek van het Augustijnenkamp en de Nieuwstraat, naar een voormalig kloostergebouw, waar nu Cinema The Movies gevestigd is. Later verhuisde de school naar een ander pand in de Nieuwstraat.  

In 1880 nam het gymnasium zijn intrek in een toen gloednieuw schoolgebouw aan de Cornelis de Wittstraat, net buiten de historische binnenstad. Ondanks veel protesten werd dit gebouw in 1988 gesloopt.  

Sinds 1993 is het Johan de Witt-gymnasium gevestigd in de voormalige Hoogere Burgersschool (afgekort het H.B.S.) het huidige monumentale gebouw aan het Oranjepark. Het statige pand werd in 1909 gebouwd in opdracht van de gemeente en heeft in meer dan 100 jaar een tweede wereldoorlog en een watersnoodramp doorstaan. Het gebouw heeft ruimte geboden aan diverse scholen. In 2010 is er vanwege de groei van het aantal leerlingen een nieuw gedeelte aangebouwd.