徐寶富在十八歲那年，因母喪而意志消沉，被族人慫恿去打麻將而遭詐賭以後，終身不再近牌桌，也不言賭，但是每年的除夕例外。這一天，他和「徐福記」的員工吃過年夜飯後，便由他做莊擲骰子或推小牌九1，學徒、夥計和孫輩的小孩都可參加下注，大約玩到半夜。贏了錢的人當然高高興興地把贏的錢拿走；輸了錢的人呢？仍可在他那裏取回本錢。這也是他每年唯一的一次與衆同樂。

徐寶富在徐家匯的徐鎮路（今改名虹橋路）近宜山北路處買下一大片巷弄建地，巷口面向徐鎮路處造了兩幢兩層樓的店面房，店面房後留了一大塊空地，地上有一口井，接著向後造了一排八幢兩層樓的住家房，底端橫向也造了四幢，全部一共十四幢（圖十五）2。建成後徐寶富曾來店面房的樓上居住，他每天清晨起來後就去井邊打水使用，那時那裏已有自來水裝置，他似乎是把晨起打水當作健身運動。

徐寶富說過一些關於吃花生米的話，常使聽過的人在吃花生米時想起他的話來就會不禁失笑。有一次，大家在吃花生米聊天，徐寶富忽然有感而發地說：我們吃花生米總是愈吃愈小顆（因爲自然而然地總是先揀比較大顆的吃，愈到後來吃的顆粒愈小），如果能愈吃愈大顆，這個世界就好了。