慶長5(1601)年、稲葉貞通が岐阜から入部し、本格的な城下町建設に取り掛かった。 町割りは、道幅も狭く、屈折が多く、袋小路も多いが、坂道などの地形をうまく利用した町づくりとなっている。 町の特徴は、臼杵石工の技術により、寺院や武家屋敷の石垣、石塀、石段、石門が造られ町全体の落ち着いた情緒を醸し出し、坂道をより特徴のあるものにしている。