明治14年1月24日、遠刈田の小室市之丞、しゅんの次男に生まれた。遠刈田温泉で土産店丸萬商店（明治末期創業）を設立経営した。明治42年、同業北岡商店と競って仕送り制度を導入し、工人の囲い込みを図った。
大正3年3月に上野公園で開催された大正博覧会には小室萬四郎の名義で、三つ入れ子の茶盆、茶托、莨入、碁石入等を出品しているが、これらは遠刈田の茂吉、松之進、円吉等小室工場の専属工人たちが製作したものであった。
大正3年 大正博覧会（東京上野公園で開催）
大正8年刊の全国特産品製造家便覧（上巻）には木地玩具の製造家とし小室萬四郎の名が掲載されている。なお、その左に遠刈田の北國仙吉とあるのは北岡仙吉の誤記である。
全国特産品製造家便覧（上巻） 大正8年
こけしも小室萬四郎の手から各地の蒐集家へ送られたので、武井武雄著〈日本郷土玩具・東の部〉時代には小室萬四郎自身を作者と誤伝された。実際の作者はやはり茂吉、松之進、円吉たちであった。
小室萬四郎には子供がなく、長兄市之丞次男軍治郎（明治27年9月25日生）を養子とした。北岡仙吉と共に村会議員となったが、互いにライバル関係であった。
昭和37年11月14日に達刈田にて没した。行年82歳。
