臼杵湾に流入する下ノ江川河口に位置し東部は臼杵湾に面して「臼杵小鑑拾遺」に「臼杵第一の湊なり」という天然の良港がある。 下ノ江湊は、大友氏時代は水軍の港として、江戸期は臼杵藩主の参勤交代・物資輸送、大坂・日向・大隅・宇和航路などの風待港として活況を呈した。