조선 말기 탐관오리로 악명이 높았던 관찰사 장승원이 그의 부친이며, 조선총독부 중추원 참의를 지내 친일반민족행위자로 등재된 장직상이 그의 둘째 형이다. 가문은 영남 지방을 주름잡는 막강한 거부였다.
그러나 장택상 본인은 영국 에든버러 유학 도중 안창호를 만나 깊은 감명을 받은 뒤 독립운동가들의 활동 자금을 뒤에서 몰래 대주고, 창씨개명을 거부한 채 시골에 칩거하는 등 독자적인 길을 걸었다. 1942년에는 이승만의 VOA 단파 방송을 몰래 듣다가 발각된 단파방송 밀청사건으로 체포되어 옥고를 치르기도 했다.