Фуртвенглер родился в Берлине в известной семье. Его отец Адольф был археологом, мать — художницей, а брат Филипп — математиком. Большую часть детства Фуртвенглер провел в Мюнхене, где его отец преподавал в Университете. В раннем возрасте начал обучаться музыке, тогда же проявилась его приверженность Бетховену, с творчеством которого он был тесно связан на протяжении всей жизни.

В 20 лет Фуртвенглер дебютировал как дирижер: в программе концерта, в котором он дирижировал Кайм-оркестром (ныне Мюнхенский филармонический оркестр), была Девятая симфонияАнтона Брукнера. К этому моменту им уже было написано несколько музыкальных произведений, однако они получили прохладный прием, и это обстоятельство, а также сознание финансовой нестабильности карьеры композитора побудило его сконцентрироваться на дирижировании. Работал в Мюнхене, Любеке, Мангейме, Франкфурте на Майне и в Вене; в 1920 году получил пост дирижера в Берлинской Штатскапелле, в 1922 — в Оркестре Гевандхауз в Лейпциге (где он сменил Артура Никиша) и одновременно в знаменитом Берлинском филармоническом оркестре. В дальнейшем стал музыкальным руководителем Венского филармонического оркестра, Зальцбургского фестиваля и Байрёйтского фестиваля, считавшегося самым высоким постом, который в то время мог занимать дирижер в Германии.

В конце второй мировой войны вследствие жесткого давления со стороны Нацистской партии Фуртвенглер уехал в Швейцарию. После войны снова занимался дирижированием, осуществил множество записей. Умер в 1954 году в Баден-Бадене.

Наибольшую известность Фуртвенглеру принесли интрпретации произведений Бетховена, Брамса, Брукнера и Вагнера.

Фуртвенглер обладал уникальной дирижёрской техникой. На видеозаписях Фуртвенглера  заметно, что он совершает странные, подчас неуклюжие, движения как будто находящийся в трансе медиум. Его жесты могут казаться не слишком связанными с музыкальным ритмом, а его физические движения одним из музыкантов оркестра характеризовались "как будто куклу дергают за верёвочки". Вопреки этому необычному стилю, а может быть - благодаря ему, музыканты под его управлением оказывались под гипнозом. Его лучшие исполнения характеризуются глубоким и полным звуком, парением мелодической линии и взрывами эмоциональных кульминаций, основанными на убедительной и логичной трактовке произведения. Многие комментаторы и критики причисляют его к величайшим дирижёрам в истории.

Фуртвенглер был знаменит неясностью и расплывчатостью своих высказываний. Его ученик Серджиу Челибидаке (Sergiu Celibidache) вспоминает, что в лучшем случае он мог сказать "Ну, нужно просто слушать" (музыку). Карл Бриницер (Carl Brinitzer) из немецкого отделения Би-Би-Си пытался взять у него интервью, и пришел к выводу, что перед ним находится слабоумный "and thought he had an imbecile before him". Запись, сделанная на репетиции со Стокгольмским оркестром документально фиксирует, как Фуртвенглер едва членораздельно бормочет и напевает под нос. Тем не менее, Фуртвенглер остаётся одной из самых уважаемых музыкантами фигур. Даже Артуро Тосканини (Arturo Toscanini), который обычно считется полной противоположностью Фуртвенглеру (и который остро критиковал политическую позицию Фуртвенглера), однажды заявил в ответ на вопрос, кто, по его мнению, является величайшим дирижёром мира кроме него самого: "Фуртвенглер!"