古くは養耆とも書く。八木川中流域、南北を山に囲まれる。八木氏は鎌倉期から代々八木荘の地頭をつとめ室町期には山名氏に従った。八木氏の居城が、国道9号の北側に連なる標高409mの通称城山の尾根一帯に築かれた。八木氏は、天正8年の因幡攻めに従い、若桜鬼が城に移り、そのあとには天正13年別所重棟が2万石をもって封ぜられた。

　八木氏時代から城山のふもとに城下町が形成され、そこにはなお殿屋敷・家老屋敷・的場・お里などの小字名が残る。