地名の由来は、江戸期以前荏原郡の東境にあった奥州街道の関名によるといい、大和武尊が蝦夷に備えて設けたもので雲霞を隔てて眺望の地であったことからつけられたという伝説がある。

　江戸期からは桜田門の南、筑前福岡藩黒田氏上屋敷と安芸広島藩浅野氏上屋敷の間の坂名となり、また汎称としても用いられたが、明治5年黒田氏・摂津三田藩九鬼氏・陸奥中村藩相馬氏・遠江横須賀藩西尾氏・常陸下館藩石川氏・越前鯖江藩間部氏・美濃高須藩徳永氏上屋敷などの武家地を併せて東京府の町名となる。

　大蔵省・法務省・警視庁など主要官庁が集中する所で、特に明治2年黒田邸跡に設けられた外務省には「霞ケ関」の通称がある。