地名のいわれは仲哀天皇諸国廻国の折、岩山の多い海岸を見て、石見の浦、石見村と名付け、のちに安禄山の乱に備えて起飯人（紀伊の人）が浦を防備するために来着した故事によって飯浦と改めたという。高津組六浦の一。元和4（1618）年、高津港ができるまでは津和野藩領随一の港であった。