Рампаль родился в семье флейтиста Марсельского симфонического оркестра. Отец начал учить его игре на флейте, но предположил, что музыкальную карьеру тот не сделает, и Жан Пьер занялся медицинскими науками. Когда он учился на третьем курсе медицинского университета (1943), немецкие оккупационные войска призвали его на военную службу. Понимая, что его направят на передовую, Рампаль под чужим именем перебрался в Париж, где поступил в Консерваторию, которую через пять месяцев окончил с первой премией. После освобождения Парижа в августе 1944 года Рампаль был назначен первым флейтистом оркестра Оперы Виши в Париже.

В 1950 году Рампаль начал карьеру концертирующего музыканта. В эти годы он выступал с французским пианистом и клавесинистом Робером Вейроном-Лакруа. По его советам Рампаль расширил свой репертуар за счёт музыки XVIII века и сочинений современных композиторов. Он отрабатывает особое романтическое звучание инструмента, которое стало его визитной карточкой и фактором, повлиявшим на творческие взгляды флейтистов последующих поколений. В 1956-1962 Рампаль играл в оркестре Парижской Оперы. В этот период он часто записывается на Парижском радио, приобретая большую известность, преподаёт в Парижской Консерватории и даёт мастер-классы по всему миру.

Рампаль с большой любовью относился к камерной музыке. В 1945 году он основал Французский Духовой Квинтет, а в 1953 — Парижский Барокко-Ансамбль. Он выступал с различными оркестрами, концертировал в разных странах и делал огромное количество записей, исполняя весь классический флейтовый репертуар, а также новые и малоизвестные произведения. Его записи часто получали различные награды звукозаписывающих компаний.

Музыкальные интересы Рампаля не ограничивались классической музыкой. Он принимал участие в записях английских народных песен, американских рэгтаймов, европейского джаза, японской, китайской и индийской музыки. Среди его партнёров по записям — Мстислав Ростропович, Лили Ласкин, Клод Боллинг, Рави Шанкар, Лакшминараян Субраманиам, Исаак Стерн. Свои сочинения ему посвящали Франсис Пуленк, Пьер Булез, Андре Жоливе, Алан Хованесс, Жан Франсэ и другие композиторы.

Похоронен на кладбище Монпарнас. В 1989 году вышла в печать его автобиографическая книга «Музыка — моя любовь».