十六島湊は日和待ち、風待ちの湊として利用されることもあり、天保5（1834）年の航路図では西廻航路の寄港地としてあげられ、幕末頃には福間屋、出屋、仲西屋などの廻船業者が活躍していた。当地一帯の海岸では、海苔、和布などがよくとれたが、とくに海苔は香りのよいことで知られ、収穫期には藩主へ献上してのち、他国売が許された。 

　十六島は、古い建物は残されていないが、急斜面の地形を巧みに利用しながら集落を形成している。