虫明湾は南に浮かぶ長島に遮られて天然の良港となっており、古代から潮待ち・風待ちの港として利用されていた。
　江戸時代、岡山藩家老伊木氏が陣屋を設置し、虫明陣屋と通称され、上町にあった。陣屋の周辺及び陣屋から虫明湾にのびる道沿いに侍屋敷が配置され、海岸沿いに町屋が置かれた。現在陣屋の遺構は残っていない。