室津の地名は、「両岸対するの津によって諸呂津といえり」とある。古来より瀬戸内海交通の要衝であり、近世には瓦屋と茅屋の入り混じった人家が稠密に建ち並び諸国の廻船が出入りし米穀などの諸品の売買が盛んで問屋や遊女茶屋もあったという記録がある。 

　1879年（明治12）に維新の志士小方謙九郎が建てた四階楼は、当初は住宅兼店舗、汽船宿として利用され、その後所有者がかわり、平成3年まで、「四海荘」という名前で旅館として使用されていました。4階建ての擬洋風木造建築は全国的にもめずらしく、また港町として栄えた上関町の歴史をしのばせる文化財としても貴重です。