神流川支流の野栗沢川に沿った山間地で、国道より中心地まで約2.5km離れている。集落は5地区に分かれて点在。自動車道として林道が通じているが、奥名郷線は未舗装の部分が多い。

　天丸山・帳付山・大山への登山口で、林道野栗沢線は集落の胡桃平までは整備されているが、それより先、赤岩峠越えは徒歩でやっと通行できる山道が埼玉県へ通じている。

　中心集落元村に旧上野東小学校野栗沢分校の跡地が通称「するばち学校跡地」として残っている。