Đổ Hoàng trai được sáng lập vào những năm cuối thời nhà Thanh. Thuở ban đầu, nơi đây chỉ là một sòng bạc nhỏ mở ven đường, cái tên cũng chẳng phải là "Đổ Hoàng trai", mà chỉ gọi đơn giản là "Đổ trai".
Nghe đồn ông chủ của Đổ trai là một hòa thượng hoàn tục. Chẳng biết lão đã học được ngón nghề cờ bạc xuất thần nhập hóa ấy từ đâu, chỉ biết sau khi hoàn tục đã làm cái nghề khiến người ta cửa nát nhà tan này.
Cho đến tận ngày nay, tên tuổi thật của vị ông chủ hòa thượng này đã không còn cách nào khảo chứng. Dù sao năm xưa người đời cứ gọi thẳng lão là "Hòa Thượng", còn nay lại tôn xưng là "Đổ tăng" hoặc "Lão tổ sư".
