De zusterpolder werd het genoemd, de Schilderswijk bestond in de 19e eeuw uit weilanden, die werden bemalen door de Zustermolen en de Gortmolen. Dit gebied behoorde destijds tot het grondgebied van Rijswijk en was voor het merendeel onbebouwd, alleen aan de kan van de Zuidwal en het Groenewegje waren enkele huizen neergezet. Rond 1841 werd er een kleine buurt gebouwd met de naam ‘het Rode Dorp’. Deze buurt lag net buiten de grenzen van de stad. De intentie van deze kleine buurt was om asocialen te huisvesten en opnieuw op te voeden. In het jaar 85 van de 20ste eeuw is het dorp gerenoveerd, helaas was deze renovatie zo slecht uitgevoerd dat in het jaar 2010 dreigde gesloopt te worden. Staedion was de verantwoordelijke over de huizen en in plaats van het slopen besloten ze de woningen op te knappen en er studentenhuisvesting van te maken. Deze renovatie is begonnen in 2011 en is reeds voltooid.
Het jaar 1843 werd de spoorlijn Amsterdam-Den Haag geopend. Dit had gevolgen voor het aangrenzend gebied. Er werd een station gebouwd, de omgeving van dit gebied werd in 1844 onderdeel van Den Haag. Bij station Hollands Spoor (HS) werd het Huijgenspark en de Stationsweg aangelegd, er kwamen veel luxe woningen rond om het station. Al in 1862 kwam er een plan om een hele wijk te bouwen. Het Oranjeplein werd aangelegd, een voornamelijk groen plein met wederom luxe huizen eromheen. Het was de bedoeling dat de wijk enige status kreeg, net als de Archipelbuurt. Helaas liep de verkoop van de huizen niet als oorspronkelijk gedacht. De burgers van hogere klasse vonden de omgeving te drassig en er was angst dat het vocht ziektes zou veroorzaken.
De tijd van de industriële revolutie zorgde ervoor dat veel arbeiders naar de grote steden kwamen. Deze arbeiders zochten huisvesting en ging wonen rond het Oranjeplein. De gemeente bemoeide zich destijds niet met de nieuwe wijk en liet het over aan particulieren ondernemingen. Deze ondernemingen bouwde grote aantallen huizen. Deze waren goedkoop om neer te zetten en van slechte kwaliteit. Dit noemen we revolutiebouw. Er waren wel beter gebouwde huisvestingen, deze werden gebouwd door woningbouwverenigingen. Een voorbeeld hiervan is de Van Hogendorstraat.
Door de komst van arbeiders naar deze straten/wijken was het voor de hogere klasse niet aantrekkelijk om er ook te gaan of blijven wonen. Zij trokken dus weg. Hierdoor werd de Schilderswijk een arbeiders/volksbuurt.
Van de oorspronkelijke bouw is niet veel meer over. In de jaren 70 van de 20ste eeuw zijn veel oude woningen gesloopt en vervangen door nieuwbouw.