春秋時屬越，時稱“甬東”。戰(zhàn)國時楚滅越，遂屬楚。唐武德四年（621年）以句章、鄞、鄮地置鄞州，甬東歸鄞州。清康熙二十三年（1684年），朝廷頒“展海令”，開海禁，舟山開始展復，漁業(yè)農業(yè)漸興。1953年6月10日，經國務院批準，析定海縣為定海、普陀、岱山3縣，劃入嵊泗縣，設立舟山專區(qū)。1976年3月，舟山專區(qū)改稱舟山地區(qū)。1978年9月，成立舟山地區(qū)行政公署。1987年1月，撤消舟山地區(qū)，建立舟山市。

截至2023年12月31日，舟山市下轄2個市轄區(qū)（定海區(qū)、普陀區(qū)）、2個縣（岱山縣、嵊泗縣）。