三國(guó)時(shí)期衡陽(yáng)分屬于衡陽(yáng)郡和湘東郡。西晉初沿襲之，后析荊州、廣州置湘州，現(xiàn)衡陽(yáng)市均屬湘州。隋開皇七年（589年），隋滅陳并改郡為州，并湘東、衡陽(yáng)兩郡為衡州，并臨蒸、新城、重安為衡陽(yáng)縣，州、縣城均設(shè)湘江東岸，為歷史上首次出現(xiàn)以衡陽(yáng)命名的縣。清朝，為衡州府，轄境為衡陽(yáng)等縣地。1950年，衡陽(yáng)市改為省轄市。1959年，省轄市衡陽(yáng)市改歸衡陽(yáng)專區(qū)。1970年，衡陽(yáng)專區(qū)改稱衡陽(yáng)地區(qū)。1980年02月20日，衡陽(yáng)市由地轄市升為省轄市（1983年改稱地級(jí)市）。

截至2023年12月31日，衡陽(yáng)市轄蒸湘區(qū)、珠暉區(qū)、雁峰區(qū)、石鼓區(qū)、南岳區(qū)5個(gè)市轄區(qū)，衡陽(yáng)縣、衡南縣、衡山縣、衡東縣、祁東縣5個(gè)縣，代管耒陽(yáng)市、常寧市2個(gè)縣級(jí)市。