秦时含山为历阳县地，属九江郡。

西汉高祖四年(前203年)，历阳属淮南国。元狩元年(前122年)，淮南国除，历阳仍属九江郡。武帝置十三州时，改九江郡为扬州，历阳属扬州。后汉因之。
新莽，改九江郡为延平郡，改历阳县为明义县。
三国时，历阳属吴。
西晋时期，历阳先属扬州淮南郡，永兴元年(304年)，属新设历阳郡。东晋大兴二年(319年)，分历阳县境西部侨置龙亢县，县治在今县南40里，相传即今杨府城村，属扬州历阳郡。
南北朝时期，宋永初二年(421年)，龙亢属南豫州历阳郡，元嘉七年(430年)，属豫州历阳郡。大明三年(459年)，属南豫州历阳郡。齐建元二年(480年)，属豫州历阳郡。永明二年(484年)，属南豫州历阳郡。梁太清二年(548年)，侯景破历阳，江北之地尽属东魏。北齐天保六年(555年)，齐、梁通和，遂改历阳为和州，龙亢归和州。陈宣帝末，北周尽取江北之地，将龙亢县地并入历阳县，至此龙亢县废。
隋开皇十三年(593年)，历阳县属和州。大业三年(607年)，历阳县属历阳郡。
唐武德六年(623年)，分历阳县西部地区原龙亢县境域设含山县，县以境内的含山命名。含山，又名横山。《清一统志》说:“在含山县西三十里，崔巍雄峻，群山列峙，势若吞含，唐因以名县。”《太平寰宇记》又说;“以县境众山所含，故名含山县。”武德八年(625年)，含山县废，并入历阳县。长安四年(704年)，在原含山县境置武寿县，属淮南道和州。神龙元年(705年)，复名含山县，领属关系未变。自此含山县名沿用至今。唐天宝元年(742年)，和州改为历阳郡，含山属淮南道历阳郡。乾元元年(758年)，历阳郡再改为和州，含山属淮南节度使和州。贞元十六年(800年)，属舒庐滁和都团练使和州。天佑元年(904年)，属淮南节度使和州。
五代十国时期，含山初属吴、南唐，后属后周，均隶和州。
两宋时期，含山属淮南西路和州防御使。
元至元十三年(1276年)，含山属淮西总管府和州镇守万户。至元十四年，属庐州路总管府和州安抚司。至元十五年，属和州路。至元二十八年，和州路降为和州，属庐州路和州。至正二十七年(1367年)，含山县废，县南部分入无为州，余并入和州，属南京庐州府。
明洪武七年(1374年)，属南京凤阳府。洪武十三年，复置含山县，属京师直隶和州。
清顺治二年(1645年)，含山属江南左布政使司直隶和州。康熙六年(1667年)属安徽布政使司直隶和州。
中华民国元年(1912年)，废道、府、州，含山县直属安徽省。民国三年至十七年(1914年-1928年)，属安庆道。民国二十七年(1938年)，日军侵占含山县城，国民党政府转移谢集乡农村。民国三十八年(1939年)4月3日迁回县城。民国三十年(1941年)7月，县城再度沦陷，县城北迁仙踪镇。民国三十四年(1945年)7月17日县城光复，8月2日，县城由仙踪镇迁回县城。
1949年1月21日含城解放，含山属江淮解放区第五专区。同年6月，改属皖北行署巢湖专区。

1952年1月30日改属安徽省芜湖专区。1958年12月15日，含山县、和县合并为和含县，属马鞍山市，县治设历阳镇。1959年4月和含县属芜湖专区。1959年6月1日，含山、和县分开，各还原建制。1965年7月28日含山改属巢湖专区(后专区改为地区、行署)，1999年8月5日撤销巢湖地区设地级巢湖市，属地级巢湖市，2011年8月，原地级巢湖市区域调整，含山县划归马鞍山市。