Syn żydowskiego imigranta z Rosji. Rocznik 1940. Ukończył z wyróżnieniem prestiżową szkołę nauk politycznych na Uniwersytecie Harwarda. Najpierw w Izbie Reprezentantów, a później w Senacie, łącznie przez 23 lata reprezentował barwy Partii Republikańskiej w Kongresie. W 1996 r. demokratyczny prezydent Bill Clinton wybrał go na sekretarza obrony, aby zyskać poparcie dla reformy wojska w zdominowanym przez republikanów parlamencie. Cohen był zwolennikiem inwestowania w najnowsze technologie zbrojeniowe kosztem wydatków na tradycyjne oddziały, co, zdaniem analityków, jest jedną z przyczyn obecnych kłopotów USA w Iraku. Bardzo zaangażował się w poszerzenie NATO, odgrywając ważną rolę w przekonaniu do tego zamysłu prezydenta Rosji Borysa Jelcyna. Po odejściu z Pentagonu w 2001 roku założył własną firmę konsultingową. Poświęcił się też pisaniu wierszy i prozy: bohaterem jego najnowszej powieści "Dragon Fire" jest sekretarz obrony USA, który musi stawić czoła groźbie ataku nuklearnego na Amerykę.