上下は、大森銀山からの銀の集積中継地として栄え、代官所も置かれた幕府直轄の天領であり、この地方の政治的経済的な中心地でした。とくに現商店街は、当時、様々な店が軒を連ね賑わいをみせていました。現在でもそのころの威容を偲ばせる土蔵や町屋が並び、また、白壁やなまこ壁、格子窓といった歴史的な景観が残っています。