어린 시절부터 일장기를 화장실에 버리고 퇴학을 당하는 등 패기를 보여주며 한 성깔 했다. 중앙학교를 다니다가 중국으로 망명해 신흥무관학교에 입학했다. 그러나 자퇴 후 1919년 만주 지린성에서 의열단을 조직했다. 이후 조선혁명선언을 지침으로 삼아 일본 고관 암살, 관공서 폭파 등을 주도했다. 하지만 테러만으로는 독립을 쟁취하는 데 한계가 있다고 느껴, 점차 사회주의로 기울기 시작했다.
황포군관학교에 입교해 장제스와 인맥을 쌓았고, 그의 정보조직인 남의사의 지원을 받아 1938년 한커우에서 조선의용대를 창설했다. 그리고 조선민족혁명당 등을 이끌며 좌우 합작을 시도했으며, 공산주의자들과 손을 잡기 시작했다.
그러던 중 조선의용대 주력 부대가 적극적으로 항일 투쟁을 하겠다며 화북(옌안)으로 이동해 버렸고, 이들은
마오쩌둥의 팔로군에 흡수되어 연안파가 되었다. 정작 김원봉 본인은 장제스와의 관계 때문에 바로 따라가지 못했고, 마오쩌둥 입장에서도 김원봉은 껄끄러운 존재였다. 결국 병력이 반토막 난 김원봉은 울며 겨자 먹기로 라이벌이자 정적이었던
김구의 대한민국 임시정부에 합류한다. 한국광복군 부사령관 자리를 받았지만, 김구 계열과는 사사건건 대립했다.
1945년 해방 후 귀국했으나, 남한의 상황은 그에게 적대적이었다. 미군정은 그를 좌익 요주의 인물로 찍었고, 친일 경찰 출신 노덕술에게 체포되기도 했다. 그 밖에도 우익 테러 단체인 백의사,
김두한 등 정치 깡패들의 위협이 계속되었다. 여운형마저 암살당하자 생명의 위협을 느낀 그는 1948년 남북연석회의 때 방북했다가 그대로 눌러앉았다.
북한 정권 수립 초기에는 국가검열상, 내각노동상 등 고위직을 맡으며 활동했으나, 1958년 연안파 숙청 바람이 불 때, 김일성은 김원봉을 장제스와 미제의 고용 간첩이라는 죄목 하에 숙청해버렸다. 어떻게 숙청됐는지 정확한 이야기는 알려져 있지 않으나, 청산가리를 먹고 자살했다는 설이 제기된 바 있다.