稲岡神社の神域で木を伐っていないので青山と別称していたのが地名となった。この地には柿本人麻呂の伝承が多い。江戸期には、姫路藩領、龍野藩領、出羽国山形藩領、一橋家領と変遷している。