1915年他被送进赣州一家丝线作坊学徒三年，帮工两年，这使曾山在青年时期受到了艰苦的磨炼。曾山1925年随兄曾延生参加农民运动。
1925年秋，在哥哥曾延生（共产党员）的影响下，参加了革命团体“觉群社”，投身革命。
1926年10月，由曾迎祥介绍，加入中国共产党。
1927年2月当选吉安县农民协会执行委员，参与组织全县农民运动，他发动儒林区农民，将当地一名破坏农会的土豪劣绅曾伏苟捆押送县，后经县长批准召开公审大会，将其处决。7月，奉命赴广州，进叶剑英领导的四军教导团，大革命失败后参加南昌起义，随起义军南征到广东。同年冬入教导团当上士、事务长，参加广州起义。月底，返回吉安，受党组织指派，到吉安县官田、敖城等地发展党员，建立中共芳井支部。
1928年春回家乡，任中共支部书记、吉安西区区委书记，是年农历四月初九，曾山与周冕、萧仕梅、萧志铎等率领官田一逞的贫苦农民，组织发动农民参加赣南武装起义。6月，任中共吉水县委书记。
1929年1月任中共赣西特委组织部部长。3月会见毛泽东、朱德，此后随红四军开展地方工作。6月被选为赣西苏维埃政府主席。1929年5月，中共赣西特委召开第一次代表大会，曾山被选为特委委员。10月，赣西革命委员成立，曾山任主席。
1930年2月，曾山以中共赣西特委代表身份，参加了由毛泽东主持在吉安县陂头召开的“二·七”会议，会上，在讨论土地分配时，产生分歧，曾山和中共赣西特委书记刘士奇等人积极主张按人口平均分配土地，得到毛泽东等多数人的赞同。2月中旬，召开赣西苏维埃联席会议，成立赣西苏维埃政府，曾山任主席。
1931年1月，被中共中央指定为苏区中央局委员。同年11月，出席中华苏维埃第一次全国代表大会，被选为中华苏维埃共和国中央执行委员。
动员组织赣南革命根据地群众，支援主力红军取得第一至三次反“围剿”的胜利。
1932年11月。受到“左”倾领导者不公正的批判，改任江西省苏维埃政府副主席兼财政部部长。
1934年2月再次被选为中华苏维埃共和国中央执行委员，担任中央政府内务部部长。
1934年9月，任中共江西省委书记兼江西军区政治委员。同年10月中央红军主力长征后，率江西省党政军机关坚持游击战争。
1935年指挥机关人员和少数部队分散进行游击活动。5月游击队失败后潜往上海，找到党组织，后被派赴苏联。同年8月入莫斯科列宁学院学习。
抗日战争爆发后，1937年11月，曾山从苏联回到延安，任中共中央东南分局副书记兼组织部部长，并兼新四军驻江西办事处主任。被派去协助项英、陈毅做南方各省游击队的改编工作，协助项英组建新四军开展江西地区的抗日民主运动。
1938年1至3月，新四军军部、中共中央东南分局、新四军驻南昌办事处相继在南昌市六眼井成立，曾山任中共中央东南分局副书记兼组织部长。7月，奉命返吉安，联系将新四军办事处迁至吉安办公问题。8月，曾山兼任中共江西省委书记。9月，曾山出席了中共六届六中全会精神，强调了党内在一个时期内注意防止右倾错误。
1939年东南分局改为东南局，任中共中央东南局组织部部长。
1940年，曾山离开吉安，调中共东南局工作，来至皖南，同年，率领东南局机关及党校一批干部撤离皖南，进入苏南解放区。
1941年2月皖南事变后，任中共中央华中局组织部部长，参与领导巩固和发展华中抗日根据地，坚持华中地区的抗日游击战争。
1941年5月，任中共中央华中局委员兼组织部部长。
1945年4月，党的“七大”在延安召开，曾山当选为中央委员。10月，出任中共中央华中局组织部长兼财委主任。
解放战争时期历任中共中央华中分局组织部部长兼财经办事处主任，中共中央华东局委员、华东财经办事处主任，华东军政委员会副主席兼财经委员会主任并兼上海市副市长兼财经委员会主任。参与领导华东地区财政经济工作，动员大批人力物资支援前线，恢复国民经济建设。
1947年12月，调任中共中央华东局委员兼财委主任。
1948年8月，华东野战军解放山东，曾山率领一批财经干部接管济南。
1949年3月，曾山出席了中共中央七届二全会。5月27日，人民解放军解放上海，曾山被任命为上海市副市长。
中华人民共和国成立后，历任中央人民政府政务院政务委员兼纺织工业部部长、华东行政委员会副主席兼财经委员会主任、国务院商业部部长、中共中央交通工作部部长、国务院内务部部长等职。
1949年12月，华东军政委员会成立，又被任命为副主席兼财经委员会主任。
1950年6月，曾山出席中共中央七届三中全会。10月，华东军政委员会成立治淮委员会，指派曾山兼任治淮委员会主任。
1952年10日，曾山任中央财经委员会副主任兼商业部部长。
1956年9月，曾山出席了中国共产党第八次大会，继续当选为中共中央委员。11月，调任中共中央交通工作部部长。
1960年11月，调任国务院内务部部长。“文革”期间，曾山受到冲击，被造反派诬指为“全国民政部门的头号走资派”，遭到批判，身心受到很大摧毁。
1969年4月，在党的第九次全国代表大会上，由于毛泽东的保护，曾山当选为中共中央委员。11月17日，林彪发布“第一号命令”。曾山被驱散到长沙。不久，国务院内务部撤销，曾山长期没有分配工作。
1970年4月，曾山经批准回北京治病。
1971年9月，林彪事件后，中组部召开老同志座谈会，曾山揭发了林彪反党反毛泽东的罪行。
1972年4月16日，曾山病逝于北京，周恩来于4月20日专程从外地赶回北京、毛泽东送了花圈，叶剑英致悼词，指出曾山是中国共产党的优秀党员。他的一生是无产阶级革命家光辉战斗的一生，他为中国人民的解放事业和共产主义事业献出了毕生的精力。
中共第八、九届中央委员，第三届全国人大代表，第四届全国政协委员。
1972年4月16日，因病在北京逝世。
父亲：曾彩芹
母亲：康春玉
哥哥：曾延生
夫人：邓六金
长子：曾庆红，中华人民共和国原副主席（2003年3月当选）。
次子：曾庆淮，原文化部特别巡视员、国家著名的文艺活动家。
三子：曾庆洋，原解放军军事科学院科研指导部部长、少将军衔。
四子：曾庆源，原解放军空军后勤部政委、少将军衔。
小女：曾海生，原解放军总参管理保障部政委、少将军衔。
毛泽东生前不止一次地讲过：“我在中央苏区，很多地方得益于曾山同志的帮助。”“在江西革命根据地的斗争中，曾山同志是有功的。”毛泽东为此专门随曾山到其家里慰问，称赞曾家“满门英烈”。
曾山在长期的革命生涯中，始终保持了共产党人的本色。无论是在艰苦的战争年代，还是在和平建设时期，他都始终以共产党员的高标准严格要求自己，立党为公，勤政为民，一心一意为革命工作，全心全意为人民服务。
纪念曾山诞辰110周年座谈会
2009年12月12日是吉安籍老一辈革命家、伟大的共产主义战士、中国共产党的优秀党员曾山同志诞辰110周年纪念日。当天，吉安市委、市政府隆重举行纪念座谈会，回顾曾山同志光辉的一生，缅怀他的革命业绩，追忆他对家乡的亲切关怀，学习和继承他伟大的革命精神和崇高的品德风范。
省委、省政府对此次纪念活动非常重视。座谈会召开前夕，在吉安县曾山革命事迹纪念室曾山同志塑像瞻仰仪式上，省委、省政府及省委书记苏荣、省长吴新雄向曾山同志的塑像敬献了花篮。曾山同志亲属曾庆绘、曾庆洋，部分省、市党史研究专家学者应邀参加座谈。
座谈会上，曾山同志亲属代表、原中国军事科学院科研指导部部长曾庆洋少将结合自己的亲身经历，介绍了曾山同志的感人事迹和崇高品德。与会代表分别结合党史研究以及工作实际作了发言，深情追忆曾山同志的革命精神和革命业绩，表达了家乡人民对曾山同志的深切怀念和无限敬仰。大家谈到：曾山同志的一生，是为中国人民的解放事业和社会主义建设事业不懈奋斗的一生。他情系井冈老区，风范光照后人。他一生信念坚定，顽强奋斗，追求真理，勤奋学习，实事求是，顾全大局，艰苦朴素，廉洁奉公，充分体现了老一辈革命家的革命精神和高贵品质，为我们留下了一笔丰厚的精神财富，是激励我们不断前进的巨大力量，是值得我们永远学习的榜样。