1929年（昭和4年）5月24日，加藤武出生于东京市京桥区，家里在筑地经营仲卸业（中介商）。从小就喜欢歌舞伎，经常上学早退到歌舞伎座旁学习。曾进入中央区立泰明小学、麻布中学、高中学习，后进入早稻田大学英文系学习。
在早稻田大学时参加戏剧研究会，与电影导演今村昌平、演员北村和夫等人相识。麻布中学时的同学小泽昭一、弗兰克堺、仲谷升、なだいなだ等人后来都成为演员。
1952年（昭和27年），早稻田大学毕业后，虽然暂时当上了教师，但仍无法放弃成为演员的道路，辞职进入文学座。
1959年（昭和34年），正式成为团员，出演了《美しきものの伝说》、《富岛松五郎伝》等舞台剧。
在电影生涯中，被市川昆、黑泽明、浦山桐郎、今村昌平等导演重用。参演过黑泽明导演的《恶汉甜梦》；深作欣二导演的《无仁义之战》等诸多作品。
在电视剧生涯中，饰演过大河剧《真田太平记》中的本多忠胜、《风林火山》中的诸角虎定等历史人物。
晚年除了作为文学座的演员在舞台上活动之外，也有很多作为海外电视剧和动画的配音演员出演的作品。
2015年（平成27年）7月31日，在健身房在健身房的桑拿里倒下，被送到东京都内的医院后确认死亡，享年八十六岁。