出雲・備後街道と吉田村に通ずる道が出会う阿井川の河岸段丘西側に位置している。慶安２年の上阿井町地銭帳によると、御役目屋敷が２０軒あり、藩の制札場があり、目代が置かれている。
　 上阿井は、タタラや薪炭業に関連する産業で栄えた。阿井川上流の内谷には、桜井家がある。