地内中部を東流する南牧川に沿って集落が形成され、すべて山村地帯である。西は勧農集落、東は大日向集落、北は下底瀬集落に通じる。
耕地は狭いため、林業が主産業で、山村地帯である。家屋の形状から見ると養蚕が盛んであったと思われる。赤岩の名は、集落の中央部に赤色の岩場があることによるという。