関ヶ原の戦後、摂津三田の領主山崎左馬允家盛が、若桜城主となり、智頭、八東二郡２万4000石と但馬七味郡1,000石の計2万5,000石を領した。若桜は山崎氏の時代になってから城下町として本格的に整備され、お茶川と呼ばれる内濠内に高禄武士、香場川と呼ばれる外濠と内濠の間に一般武士が居住、外濠の外側に町屋地区があり、上町、中町、下町と称した。
　北西部の町の入口には、農人町と呼ばれる百姓屋敷が配置され寺院は町屋の外縁に防衛的に配置された。街並みは整い、道の両側に小川が通っており、西側の水を飲料に供し、東側の水を雑用水に使用した。
　元和3（1617）年、大坂夏の陣で戦功のあった山崎家盛の子家治が備中成羽に転封となってのち、一国一城の制により若桜城は廃城となった。
　これ以降は、若桜往来（播州街道）の宿場として、また物資の集散地として発展した。