在《尚书·禹贡》中，今之淮北市境属徐州。公元前21世纪，助禹治水有功而成为商部落首领的商汤十一世祖相土为进一步向东扩张，由商丘迁徙至此，作为别都，此后山即为相山、城即为相城。商汤伐桀，灭夏建商，商沿夏制，相城仍属徐州所辖。周武王伐纣更商分封诸侯，以纣王兄微子启代殷，立国号宋，相属宋。公元前588年至前576年期间，宋共公瑕为避水患，曾将国都由睢阳(今河南商丘)迁至相城。战国时期，齐、楚、魏灭宋，相归楚国。秦始皇二十二年(前225年)在相城和临涣镇分设相县、铚县，同属泗水郡，相城为郡治所在地。
       汉高祖四年(前203年)改泗水郡为沛郡，郡治仍在相城。元狩六年(前117年)，在今杜集区石台镇梧桐村闸河西设梧县，属沛郡。地节元年(前69年)，梧县改属彭城郡，后改属楚国。王莽篡汉后，尽易天下郡县名，改相县为吾符亭，沛郡改为吾符郡，梧县为吾治。东汉建武二十年(44年)改沛郡为沛国，国都仍在相城。梧县先后改属楚国、彭城郡国。三国时，相城属魏，相县和铚县先后属汝阴郡，归豫州。梧县仍属彭城郡国。迁沛国治所至沛县。
       西晋泰始元年(265年)，沛国仍都相县。永嘉之乱后，相县陷入石勒所建的后赵，豫州沛郡兼郡治。永和六年(350年)，沛郡复归东晋。永平元年(357年)，相县改属前燕豫州沛国。太和四年(369年)，相县复归东晋，仍之。太元五年(380年)，改豫州为东豫州，相县仍属东豫州沛国;太元八年(383年)，相县为东晋，改属徐州。晋末，改徐州为北徐州，沛郡及相县改属北徐州。北魏天赐二年(405年)，相县入北魏。南北朝时，相县归刘宋，属徐州沛郡，南朝宋承初三年(422年)，北徐州径称徐州，相县仍之。大明八年(464年)萧县属沛郡，郡治徙于萧。宋泰始二年(466年)，徐州沛郡及相县入北魏。北齐天保七年(556年)废相县为相城乡，并入符离县。此后，相城无县以上建置。改萧县为承高县，属徐州彭城郡。北齐天保七年(556年)，废相县，为相城乡。
       梁普通六年(525年)置临涣郡，治所在今临涣集。梁大通元年(527年)梁伐魏，攻克竹邑城。梁将陈庆元从铚县率兵数千人追击魏军至洛阳。北魏永安二年(529年)6月北魏军数千人夜袭临涣郡，城内梁军无备，死伤惨重，仓皇出逃。此地复为北魏所辖。东魏武定五年(547年)析临涣郡置白椫(今百善)县、涣北县，治所分别在今魏集乡和宋庙乡境内。北齐天保元年(550年)废临涣郡，新置临涣县;废涣北县，复置竹邑县。
       隋开皇三年(583年)，竹邑县废，并入符离县。开皇九年(589年)符离县属彭城郡。大业元年(605年)春炀帝征发河南、淮北诸郡民夫百余万人，开掘通济渠。渠经今铁佛、百善、四铺，过境长41.5公里，渠面宽40米，堤上广植柳树。是年废白椫县，并入临涣县。本地分属彭城郡萧县、符离县、蕲县和谯郡临涣县。
       唐初，本地分属徐州之萧县、符离县、蕲县和亳州之临涣县。武德四年(621年)析符离县置诸阳县。贞观元年(627年)废诸阳县复入符离县。元和四年(809年)以徐州之符离县、蕲县、泗州之虹县置宿州。元和九年(814年)析亳州之临涣县属宿州。本地分属徐州之萧县，宿州之符离县、临涣县、蕲县。相地渐趋衰落，成为边远闲塞之地相城孜。
       唐咸通十年(869年)4月，庞勋率桂林戍卒起义军与唐军7万战于柳孜镇。义军败，转战临涣、亳州一带，庞勋战死。
       五代时，隶属与唐代略同。
       北宋建隆元年(960年)，宿州升为防御。开宝元年(968年)为保静军节度，属淮南路。宋天圣十年(1032年)柳孜镇天王院修砖塔1座，高80尺，临涣县令、县尉、主簿，柳孜镇巡检、盐酒税等人主修。时柳孜镇有大小庙宇99座。熙宁五年(1072年)，分属淮南东路。元丰五年(1082年)徐州分属京东西路。本地分属淮南东路宿州之符离县、临涣县、蕲县，京东西路徐州之萧县。南宋时，长江淮河以北沦为金地，本地分属南京路宿州防御之符离、临涣、蕲县，山东西路徐州武宁军之萧县。
       南宋绍兴十年(1140年)8月，宋将杨存中引兵500骑夜袭柳孜镇，遭金兵伏击，大败，退至泗水一带。金人占据宿州。金天兴元年(1232年)元兵3000骑猛攻临涣城，县令张若愚率全城民众死守。后因城内粮尽和外无援兵城破，张若愚自杀。临涣城被元兵洗劫一空。
       元初，本地分属河南行省归德府徐州之萧县，宿州之符离县、临涣县、蕲县。至元二年(1265年)撤符离、临涣、蕲县，并入宿州，本地分属徐州之萧县和宿州领辖。
       明洪武四年(1371年)，本地分属中都临濠府宿州和徐州之萧县。洪武七年(1374年)，中都临濠府改称凤阳府。洪武十四年(1381年)改徐州直隶京师。本地分属凤阳府之宿州和南京徐州之萧县。
       清顺治二年(1645年)，置江南省布政使司，本地分属江南省徐州之萧县和凤阳府之宿州。顺治十八年(1661年)江南省分设左右布政使司，本地分属左布政使司凤阳府之宿州和徐州之萧县。康熙六年(1667年)改设江苏省、安徽省。雍正十一年(1733年)升直隶徐州为徐州府，本地分属江苏省徐州府之萧县和安徽省凤阳府之宿州。
       中华民国元年(1912年)废除府州建制，本地分属安徽省宿县和江苏省萧县。
       民国3年(1914年)置道，本地分属安徽省淮泗道之宿县和江苏省徐海道之萧县。民国16年(1927年)废道，本地复归安徽省之宿县和江苏省之萧县。民国24年(1935年)，成立行政督察区，本地分属安徽省第六行政督察区(后改第四区)之宿县和江苏省铜山行政督察区之萧县。
       民国34年(1945年)9月，宿西县全境解放，成立濉溪市，市辖东关、南关、西关、北关、中心5个镇。
       1948年11月，市境解放。1949年6月，市境分属华东局皖北行政公署宿县和萧县。1953年2月，市境分属濉溪县和萧县。
       1950年7月，置濉溪县，以濉溪而得名。属宿县地区。
       1958年5月，淮北煤矿筹备处成立。
       1960年4月6日，经国务院批准，以蚌埠专区的濉溪县和萧县部分地区组建濉溪市。市人民委员会与濉溪县人民委员会合署办公，同时将萧县杜集、高岳、朔里公社全部和永堌公社、闸河以西4个大队、吴庄公社闸河以西7个大队划归濉溪市管辖。
       1961年1月，将濉溪县北端的方顶大队和渠沟大队划归濉溪市管辖;6月17日，成立濉溪市郊区，辖相山、杜集、高岳3个公社。
       1963年12月16日，宿东办事处成立，辖宿州市东部地区。1964年4月27日，市郊区撤销。1965年，濉溪县的任圩公社和烈山公社之二郎庙、杨庄、洪庄、烈山、黄桥、吴山口大队划归濉溪市管辖。
       1971年1月，恢复市郊区，同时成立相山区。1971年4月2日，濉溪市更名为淮北市。
       1976年，将萧县郭庄公社的官庄、任庄、任土楼、李洼、孙庄6个大队90个生产队划归淮北市管辖。1977年2月22日，宿县地区所辖濉溪县划归淮北市管辖。1980年3月29日，设立杜集区、烈山区。
       1981年4月21日，将萧县的北山、窦庄、钱楼、坡里、朔里5个整建制公社和毛庄(毛庄、郝台、姚楼、路庄、沈庄、袁庄、祁庄7个大队)、牛眠(牛眠、大庄、冯庄、王窑、欧集、二庄6个大队)、吴庄(房庄、李台、刘行3个大队)、丁里(许堂大队的孟楼1个生产队)4个公社的16个大队、1个生产队划归淮北矿务局领导，实行以矿带社体制。
       1983年6月22日，撤销以矿带社体制，将北山、窦庄、钱楼、坡里、朔里、孟庄、毛庄、牛眠、高岳9个公社划归郊区。
       1984年3月27日，郊区撤销，将其所属相山、蔬菜、任圩3个乡划归相山区;烈山乡和新增设的青龙山镇划归烈山区;杜集乡和原矿务局代管的高岳、朔里、毛庄、窦庄、北山、牛眠、坡里、钱楼、孟庄9个乡划归杜集区。时濉溪县辖9个区、4个镇、65个乡，遂形成市辖三区一县的区划格局。
       1985年7月15日，撤销宿东办事处，所辖区域划归宿州市管辖。
       1992年1—4月，实行撤区并乡，将濉溪县土楼乡划归相山区管辖，濉溪县宋疃乡划入烈山区，设宋疃镇，杜集区孟庄乡全部及牛眠乡部分划归萧县管辖，撤销濉溪9个区公所，全市乡镇合并后共设23个镇，10个乡。相山区辖渠沟镇、任圩镇，相山东、相山西、东山、三堤口4个街道办事处;烈山区辖烈山镇、宋疃镇，杨庄、烈山、前岭矿、前常矿、百善矿、吴山口6个街道办事处;杜集区辖高岳镇、矿山集镇、石台镇、朔里镇和段园镇;濉溪县辖濉溪镇、刘桥镇、临涣镇、祁集镇、韩村镇、徐楼镇、百善镇、五沟镇、孙疃镇、任集镇、南坪镇、双堆集镇、古饶镇、新蔡镇、钟楼乡、铁佛乡、岳集乡、陈集乡、四铺乡、马桥乡、白沙乡、五铺乡、赵集乡和杨柳乡。之后，为加强对城市的管理工作，根据国务院行政区划调整的规定，科学设置街道办事处，加快推进城乡一体化进程。
       1996年，相山区设立刘桥街道办事处，烈山区设临海童街道办事处和任楼街道办事处。1997年相山区设相南街道办事处。杜集区设东黎街道办事处、张庄街道办事处，孟山街道办事处更名为袁庄街道办事处。1997年，濉溪县辖14个镇、10个乡:濉溪镇、新蔡镇、徐楼镇、临涣镇、南坪镇、祁集镇、任集镇、孙疃镇、刘桥镇、百善镇、古饶镇、五沟镇、双堆集镇、韩村镇、钟楼乡、铁佛乡、岳集乡、白沙乡、陈集乡、杨柳乡、四铺乡、五铺乡、赵集乡、马桥乡。县政府驻濉溪镇。2000年撤销铁佛乡，设立铁佛镇。2002年，杜集区设立朔里街道办事处。
       2003年，全市辖24个镇、9个乡，14个办事处。其中相山区辖相南、相山东、相山西、三堤口、东山、刘桥6个街道办事处，渠沟、任圩2个镇。杜集区辖东黎、朔里、袁庄3个街道办事处、高岳、矿山集、石台、朔里、段园5个镇，烈山区辖临海童、任楼、百善、工人村、前岭5个街道办事处、烈山、宋疃2个镇，濉溪县15个镇、9个乡。
       2004年8月20日，省政府批准淮北市区县部分行政区划调整，其中:撤销濉溪县马桥乡、白沙乡、任集镇，分别并入新蔡镇、五沟镇和南坪镇。同时将新蔡镇划入淮北市烈山区，将濉溪县濉溪镇的庆相桥居委会、虎山北路居委会(铁路以北)划入淮北市相山区三堤口街道办事处管辖。2004年底，濉溪县辖13个镇、7个乡:濉溪镇、徐楼镇、临涣镇、南坪镇、祁集镇、孙疃镇、刘桥镇、百善镇、古饶镇、五沟镇、双堆集镇、韩村镇、铁佛镇、钟楼乡、岳集乡、陈集乡、杨柳乡、四铺乡、五铺乡、赵集乡。撤销相山区任圩镇，设立任圩街道办事处。撤销烈山工人村街道办事处，整建制并入烈山镇。是年9月，撤销矿山集镇、张庄街道办事处，将其整建制合并，设立新的矿山集街道办事处。相山区乡镇由2个调整为1个，杜集区乡镇由5个调整为4个。
       2006年3月，淮北市进行乡镇行政区划调整，调整后下辖18个乡镇、14个街道办事处。撤销陈集乡，整建制并入双堆集镇;撤销杨柳乡，整建制并入孙疃镇;撤销徐楼镇，整建制并入百善镇;撤销岳集乡，整建制并入铁佛镇;撤销原祁集镇，其中19个村并入临涣镇;原祁集镇的另11个村并入韩村镇;撤销五铺乡，整建制并入四铺乡。原铁佛镇的杨庄、留古2个村划入刘桥镇。濉溪、南坪、五沟三镇未作调整。濉溪县钟楼乡整建制划入相山区渠沟镇，将濉溪县赵集乡与原古饶镇合并，成立新的古饶镇，同时划入烈山区。全县辖11个乡镇:濉溪镇、韩村镇、临涣镇、南坪镇、孙疃镇、刘桥镇、百善镇、双堆集镇、五沟镇、铁佛镇、四铺乡。
       杜集区，将原有的4个镇4个街道办事处调整为3个镇2个街道办事处。撤销高岳镇和东黎、朔里、袁庄3个街道办事处。将朔里街道办事处并入朔里镇;将袁庄街道办事处并入段园镇;以原高岳镇和东黎街道办事处的行政区域新设高岳街道办事处。
       烈山区，除古饶镇(由濉溪县)并入外，将原有的2个镇4个街道办事处调整为3个镇5个街道办事处。撤销烈山镇和新蔡镇，设立新的烈山镇。设立杨庄街道办事处。调整后烈山区辖烈山镇、宋疃镇、古饶镇、杨庄街道办事处、临海童街道办事处、百善街道办事处、任楼街道办事处、前岭街道办事处。
       相山区辖渠沟1个镇，相南、刘桥、任圩、东山、相山东、相山西、三堤口7个街道办事处。
       2008年4月和5月，相山区分别成立人民路、南黎街道办事处和曲阳街道办事处。2012年12月，经省民政厅批准，撤销濉溪县四铺乡，设立四铺镇，面积、人口和隶属关系不变。四铺镇成为淮北市第18个建制镇，标志着淮北市乡的历史结束。
       截至2012年底，全市有18个镇、17个街道办事处。相山区辖渠沟镇1个镇，任圩、东山、相山东、相山西、三堤口、相南、刘桥、人民路、南黎、曲阳10个街道办事处。烈山区辖烈山、宋疃、古饶3个镇，杨庄、临海童、百善、任楼、前岭5个街道办事处。杜集区辖朔里、石台、段园3个镇，高岳、矿山集2个街道办事处。濉溪县辖濉溪、五沟、南坪、百善、铁佛、临涣、韩村、孙疃、刘桥、双堆集、四铺11个镇。