秦朝末年（前206年），南越郡尉趙佗擁兵自立，建立南越國(guó)。南越國(guó)時(shí)期，清遠(yuǎn)南部地區(qū)仍屬番禺縣管轄。清遠(yuǎn)市境最早的政區(qū)建置為桂陽(yáng)縣（今連州等地）。其設(shè)立時(shí)間一般認(rèn)為在西漢文帝（公元前179年—公元前164年）初年或更早，隸屬荊州桂陽(yáng)郡。元鼎六年（前111年），漢武帝派兵南下，結(jié)束南越國(guó)的統(tǒng)治。同年，在今清遠(yuǎn)市境設(shè)立中宿、陽(yáng)山、含洭、湞陽(yáng)4縣。1983年7月，韶關(guān)實(shí)行市管縣新體制，清遠(yuǎn)、佛岡兩縣從韶關(guān)地區(qū)劃歸廣州市管轄。1988年1月7日，國(guó)務(wù)院批準(zhǔn)撤銷清遠(yuǎn)縣，設(shè)立地區(qū)級(jí)政區(qū)清遠(yuǎn)市。

截至2023年12月31日，清遠(yuǎn)市下轄2個(gè)市轄區(qū)、2個(gè)縣級(jí)市、2個(gè)縣、2個(gè)自治縣，分別為清城區(qū)、清新區(qū)、英德市、連州市、佛岡縣、陽(yáng)山縣、連山壯族瑤族自治縣、連南瑤族自治縣。