1849至1915年間,大約有48,000幢維多利亞式及愛德華式房屋(兩者間的轉捩發生於1901年維多利亞女王逝世)建造於舊金山地區,這些建築大多具有鮮豔的色彩。正如一名報社評論家在1885年所說,「……紅色、黃色、巧克力色、橘色,每一棟都很花俏且相當時尚……如果上層不是紅色或藍色的話……則它們將被漆成怪異的黃色和棕色……」雖然許多位在諾布山的房屋在1906年舊金山大地震被摧毀,但仍有數千棟大量建造且更加樸素的房屋倖存於該城市西部及南部社區。 第一次世界大戰與第二次世界大戰期間,人們利用海軍的作戰剩餘塗料,將許多的房屋漆成如戰艦般的灰色。約有1600多幢在此期間毀壞,許多其他的維多利亞式裝潢則被拆除,或以防水柏油紙、磚塊、灰泥、鋁牆板等遮蓋。 1963年,舊金山藝術家布奇·卡頓將他自己的義大利風格維多利亞式住宅,以藍色與綠色漆飾其外部。雖然他的房屋遭來了一些批評,但卻有更多的社區開始複製他的做法,將自宅粉刷上明亮的色彩。隨後,卡頓成為了一位色彩設計師,他開始和像是東尼·卡納勒蒂奇(Tony Canaletich)、鮑勃·巴克特(Bob Buckter)、傑森·萬德斯(Jazon Wonders)等的藝術家及色彩學家,著手將許多灰色的房子改造成彩繪女士。到了1970年代,經過了當時所稱的色彩運動,整個社區與街景煥然一新。而這個過程也一直持續至今日。 其中,舊金山最具知名度的「彩繪女士」屬阿拉莫廣場對面,位在施泰納街(Steiner Street)710至720號的一排維多利亞式房屋。這裡也有「六姊妹」及「明信片屋」(Postcard Row)之稱。這排房子是由開發商馬修·卡瓦納夫(Matthew Kavanaugh)在1892至1896年間建造而成的,卡瓦納夫也曾住在這些豪宅旁的施泰納街722號。這個街區時常出現在大眾媒體及此城市的旅遊景點介紹上,更曾登上約70部的電影、電視節目及廣告之中,其中也包括了電視劇《歡樂滿屋》的片頭畫面。