1922年徐寶富夫婦在南橋鎮造了一幢大房子，題名「雲廬」（圖十四），有前庭、有後院，四周是磚砌的圍牆，門廊上的磚都雕了花。房子一共三進（前後三排），最後一進是放置大量中藥材的庫房，爲什麼是這樣的設置呢？

從前，在中國的鄉下是沒有什麼醫療資源的，農村裏固然沒有醫生，即使到了鎮上，也不見得有醫生，更談不上什麼麼藥店了。一般人生了病，小病是依照民間流傳的方子，弄點草藥自醫；嚴重一點的便請親友抬去城鎮求診，診療費用和藥費對一般農民而言也是一筆不小的負擔。傳統的殷富之家，在家鄉做的公益事業，大多是造橋修路，但是，徐寶富在捐錢造橋修路和修造涼亭外，也有解決决一些鄉里醫療問題的念頭。他的具體做法是要他的長子徐步青去學中醫，然後主持一個可以有多位醫師駐診的診所，對貧窮的鄉民義診，並且送藥。所以這一幢大房子的最後一進被設定爲中藥材的庫房，而前進（前排）則是作爲診所。

然而，徐寶富的這個意願沒有能真正實現，因爲徐步青在向無錫一位姓史的名醫學習期間，和老師的女兒兩情相悅，談起了戀愛，最後論及婚嫁。可是那時徐步青已經結婚，並有一女徐偉淼（小名桂珍）。徐寶富夫婦知道這事後很不高興，他們並不是對史家女兒有什麼不滿，而是堅持一夫一妻制，不允許長子再娶第二房妻子，而女方的父母也不肯讓女兒作二房。由於經濟實權在父母手裏，父母不允許，徐步青也無可奈何，雙方又都是地方上的知名人士，不僅尷尬，也很僵。

徐步青的元配顧雲英當然也很生氣，她的個性很剛烈，聞知丈夫有他心，便提出離婚的要求。那時候雖然風氣日開，但一般人的傳統觀念仍深，在上海做事的男人若是再娶，元配大多囿於傳統觀念，不願離婚，而是在鄉下老家和公婆同住。顧雲英主動提出離婚要求，也著實使徐寶富夫婦吃了一驚。他們認爲媳婦不需要如此，因爲他們是根本不允許兒子娶第二個妻子的。然而媳婦堅持離婚，他們就不能再說什麼了。長媳離去時，徐寶富給了她40畝田，其中20畝是作爲她撫養女兒用的。

顧雲英離婚後自食其力，放下身份，進入上海大中華橡膠廠作工，後來回鄉，在春、秋兩季養蠶，實在是一位了不起的女性。那40畝田，一部份被她的家人拿去花用了，剩餘的在1951年土地改革時交給了政府。

在這次事件後，徐步青也無心學醫濟世，和史氏結婚後回上海管理一些父親的事業。抗戰勝利後，因爲投資經營澱粉廠（漿紗用的原料），製造過程中需要烈日曝曬，舉家移居臺灣南部的高雄。

至於那幢題名「雲廬」的大房子，則在抗日戰爭期間，和徐寶富的南橋襪廠一樣，被下鄉「清鄉」的日軍放火燒毀了。