江戸時代、四日市は、黒田氏、細川氏に続いて入封した中津城主小笠原氏の領地でありましたが、その所領が半地召し上げとなると、1700年、この地に幕府代官所（四日市陣屋）が築かれました。その後、天草代官支配から日田代官支配へと変わり、明治まで幕府天領支配が続きました。

　東別院と西別院は、16世紀中頃に土地の豪族渡邊氏が開いた真勝寺を起源としますが、元文２（1737）年の真勝寺の内紛（別院騒動）で、東西別院・御坊が隣接する全国的にめずらしいものとなりました。

東別院参道沿いには、料理屋と思われる建物が見受けられます。