市名の由来ともなった真言宗大覚寺派観音寺の所在地。観音寺の開祖は日証寺上人で、大宝３年に琴弾八幡宮の別当寺として建立。大同２年、空海が当地に立ち寄り、観音像を彫り、寺号を七宝山観音寺と改めたという。このことから観音寺の地名が生まれたという。
　当地は、漁業と商業を中心に栄えてきた所で、現在も上市、下市などの地名が残り、早くから市が形成されていたと考えられる。