町名は豊臣秀吉が聚楽第建設に際し、旗下の番士を内野の地に一番組から七番組に分けて設けさせた組屋敷の五番組屋敷に由来するという。

　スッポン料理の老舗大市も、宝永６年に来住している。加えて当町は北野社や愛宕山への参詣道筋にあたり、寛政期から煮売茶屋渡世をするものが多く、茶立女などもおいて遊所的雰囲気があった。
　寛政２年には遊女商売が公認され島原傾城町の支配をうけることとなり、改めて安政６年６月に傾城町島原の出稼地北野上七軒の出店として、この五番町にも遊女屋・茶屋渡世が認められたところから、西陣の職工たちの手ごろな遊び場としてにぎわった。
　明治初年の上京九番組五番町の図によれば、茶屋だけで３３軒を数えることができ、島原の支配から独立した「五番町遊郭」として歩み出した姿がうかがえる。同７年には女紅場を設けて芸娼妓の教育などに取り組み、同１９年には府令第３号によって遊女屋茶屋組合を設けた。当時、「五番町遊郭」は、五番町と四番町の２町であったが、同４５年の府令第６号では、一番町・四番町・五番町・三軒町・白竹町・利生町を含む広域をさすように改められた。
　「五番町遊郭」は、昭和33年公娼制度廃止で、その歴史を閉じた。