香港開埠以來，一循《大清律例》，富人繼續蓄婢，政府不加干涉。然而，虐婢消息，則時有聽聞。一九一九年，海軍副司令官希士路活公開提倡廢除奴婢，卻旋被革職返回英國。香港方面，立法局華人議員劉鑄伯、何澤生曾廣邀各界人士，對蓄婢問題發表意見，並於一九二一年七月三十日假太平戲院舉行「研究婢制問題」大會，結果產生了反蓄婢及反禁婢兩個對立團體。
反對蓄婢會認為有必要乘輿論之機推動廢止蓄婢運動，經過數次籌備會議之後，於一九二二年三月二十六日在香港青年會禮堂正式成立，公推黃茂林擔任正會長。而反對蓄婢會對於香港政府通過廢婢法令有決定性作用，對於社會的發展有著重大意義。