関ヶ原の戦後、姫路城主池田光政が鳥取情趣に移封され、倉吉は家臣の伊木長門守忠貞がその任を行った。寛永9（1632）年岡山城主池田光仲が鳥取への移封を命ぜられ、鳥取藩池田家の始祖となる。この年より次席家老荒尾志摩守崇就が倉吉を領することとなった。　この支配は、藩より治安、警察権などを施行委任された自分手政治であり、荒尾氏は配下の組士を派遣してその支配をさせている。
　倉吉の武家屋敷が完成したのは、荒尾氏の時代であった。