湊の前方の櫃石島によって風波が遮られ、天然の良港をなす。古くより瀬戸内海航路の要港であった。近世には金毘羅往来の終点・渡航地として、瀬戸内海水運の中継地として賑わった。 岡山藩では、万治3(1660)年下津井に在番所を設け、海上の取締と参勤交代の諸大名や外国使節の接待に当たった。