惠勒出生于美国佛罗里达州杰克逊维尔，父亲是图书馆员。他1926年15岁时即进入约翰斯·霍普金斯大学，先学工程后转物理，1933年21岁时获博士学位，博士论文研究氦原子的散射理论。毕业后他赴丹麦哥本哈根大学在尼尔斯·玻尔指导下做博士后研究，这段经历深刻影响了他的研究风格。1935年他回到美国，在北卡罗来纳大学任教三年后，1938年加入普林斯顿大学，在此工作近40年。

在普林斯顿的早期，惠勒与玻尔合作研究核裂变机制。1939年玻尔到普林斯顿访问时，带来了德国科学家奥托·哈恩和弗里茨·斯特拉斯曼发现铀核裂变的消息，惠勒立即与玻尔合作，用量子力学解释了为什么铀-235会发生慢中子裂变而铀-238不会，他们的液滴模型成为理解核裂变的标准理论。二战期间，惠勒参与曼哈顿计划，在杜邦公司担任顾问，负责华盛顿州汉福德核反应堆的设计与建设，该反应堆生产了投放到长崎的原子弹所用的钚。值得一提的是，他对德国可能率先造出原子弹的担忧使他成为推动美国原子弹计划的科学家之一。

战后，惠勒的研究兴趣转向引力和广义相对论。在20世纪50年代，广义相对论被多数物理学家视为数学理论而非物理学，研究陷入低谷。惠勒几乎以一己之力复兴了这一领域：1950年代中期他开始研究引力坍缩问题，1967年在一次学术会议上首次使用"黑洞"一词来描述引力坍缩形成的致密天体——在此之前这种天体被称为"冻星"。惠勒提出了"黑洞无毛定理"，即黑洞的性质仅由质量、电荷和角动量三个参数唯一确定。他还提出了"虫洞"概念——连接时空不同区域的假想通道，以及"量子泡沫"概念——在普朗克尺度下时空的量子涨落结构。

惠勒是一位极具想象力和哲学深度的物理学家。他将物理学的基本问题归结为"万物源于比特"(it from bit)，认为物理实在从根本上起源于信息。他培养的学生中有多位成为物理学巨匠：理查德·费曼(路径积分)、基普·索恩(引力波、LIGO)、休·埃弗雷特三世(多世界诠释)、雅可布·贝肯斯坦(黑洞熵)等。他撰写的《引力论》(与查尔斯·米斯纳、基普·索恩合著)是广义相对论最权威的教科书。惠勒1976年从普林斯顿退休后转到得克萨斯大学奥斯汀分校，继续从事量子引力和物理学基础问题研究直至90年代。他于2008年4月13日在新泽西州海茨敦逝世，享年96岁。