地名は、樹木の樒が自生しているところという意味か、シキ（砂礫地）ミ（水・海）が転訛したものといわれる。西方約４kmの海上に神楽島がある。伝承によれば、神功皇后が三韓遠征の帰途、この島で神楽を奏したため、一説には乙宮社神事の際、この島に鈴の音がするから命名されたという。

　平地に乏しいため大きな産業はないが、変化に富む海岸が連なり奇岩・怪石・断崖がみられるとともに釣り場として有名である。