徐州古称彭城，已有5000多年文明史。帝尧时建大彭氏国。徐州有2600多年建城史，是江苏境内最早出现的城邑。夏禹治水时，把全国疆域分为九州，徐州即为九州之一。当时“徐州”只是作为一个自然经济区域的名称，彭城邑成为这一区域的中心城市。

帝尧时彭祖建大彭氏国，彭城因而得名。夏商时期，大彭氏国很强盛，曾为五霸之一。传说大彭氏国的创始人彭祖活了800岁，是中国烹饪和气功的创始人。彭祖在历史上影响很大，曾被孔子推崇备至，也被道家奉为奠基人之一。彭祖的饮食养生之道，对以后汉文化的形成和发展起着重要的作用。春秋战国时期，彭城为宋邑，徐国国都、楚国国都。秦汉之际，西楚霸王项羽建都彭城。彭城还是西汉、东汉、三国时曹魏和西晋等三朝封国的国都，长达500多年。从这里走出的布衣皇帝汉高祖刘邦则一统天下，开创了历史上辉煌的汉王朝。西汉时期，彭城为刘氏同姓王的重要封国——楚国和彭城国。东汉末年，曹操迁徐州刺史治彭城，始称徐州。

历史上，徐州籍人士就出了11位开国皇帝，故徐州又有“千年龙飞地、一代帝王乡”之誉。

6000多年前，徐州的先民就在此生息劳作。原始社会末期，尧封彭祖于今市区所在地，为大彭氏国，徐州称彭城自始起。

春秋战国时，彭城属宋，后归楚，秦统一后设彭城县。

楚汉时，西楚霸王建都彭城。西汉设彭城郡，东汉设彭城国、建都彭城。

东汉时，州名。辖郡、国五，县六十二。治所郯县，在今山东都城县。汉末移治下邳，在今江苏邳县东。三国曹魏移治彭城，即今江苏徐州。辖境相当于今江苏长江以北及山东南部地区。 

三国时，曹操迁徐州刺史部于彭城，彭城自始称徐州。

魏晋南北朝各代曾设彭城国或徐州，都城或治所多在彭城。

隋时设徐州，后改彭城郡，治彭城。

唐初，徐州与彭城郡名称多次互易，中后期徐州为节度使驻地。

五代时各朝置有徐州，治彭城，领7县。

宋元两朝都置徐州，隶属和辖领变化较频。 

明初徐州曾直隶京师，后属南京。

清初，徐州先后为江南省和江苏省所属直隶州，雍正末年升为徐州府，辖领1州7县。

民国初，府废，徐州府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。

日伪时由铜山县析置徐州市，曾为伪淮海省省会。抗战胜利后，国民政府仍置徐州市，属江苏

1949年因江苏省尚未完全解放，徐州市暂由山东省代管。

1953年1月徐州市正式划归江苏省直辖。