Marek Grechuta od najmłodszych lat uczył się gry na fortepianie. Ukończył zamojskie I Liceum Ogólnokształcące im. Jana Zamoyskiego. Po przeprowadzce do Krakowa podjął studia architektoniczne na Politechnice Krakowskiej. Spotkał tam Jana Kantego Pawluśkiewicza, z którym założył Kabaret Architektów Anawa (z francuskiego en avant – naprzód), który wkrótce się przeobraził w zespół towarzyszący mu na występach. Grechuta debiutował w 1967 roku zdobywając drugie miejsce na Studenckim Festiwalu Piosenki w Krakowie. W 1968 roku na VI KFPP w Opolu zdobył nagrodę dziennikarzy za piosenkę "Serce", a rok później na VII KFPP jedną z głównych nagród (Nagroda TVP) za piosenkę "Wesele". Z zespołem Anawa nagrał dwie swoje pierwsze płyty – "Marek Grechuta & Anawa" z 1970 roku oraz "Korowód" z 1971. W tym roku na IX KFPP w Opolu Grechuta zdobył główną nagrodę za piosenkę "Korowód". W 1971 r. Grechuta opuścił zespół Anawa i założył inny zespół o nazwie WIEM (W Innej Epoce Muzycznej). Z zespołem tym nagrał dwa albumy – "Droga za widnokres" oraz "Magia obłoków". Pięć lat później ponownie zaczął współpracę z Pawluśkiewiczem i pisanie muzyki do tekstów Witkacego. W 1977 r. na XV KFPP w Opolu jego piosenka "Hop – szklankę piwa" zdobyła Nagrodę Grand Prix, również na tym festiwalu przez Krystynę Jandę wykonywana była piosenka "Guma do żucia", skomponowana i ze słowami Marka Grechuty. Grechuta był również wraz z Krzysztofem Jasińskim i Janem Kantym Pawluśkiewiczem, współautorem musicalu "Szalona lokomotywa", według Stanisława Ignacego Witkiewicza.

W 1976 r. Marek Grechuta rozpoczął, trwającą blisko 10 lat, współpracę z Piwnicą pod Baranami. W 1979 roku nagrał płytę z pieśniami do słów poety Tadeusza Nowaka. W 1984 roku wspólnie z Krystyną Jandą nagrał płytę "W malinowym chruśniaku". Kolejną płytę wydał w 1986 roku. Przyniosła ona przebój "Wiosna, ach to Ty". W 1987 roku napisał muzykę do przedstawienia teatralnego Jana Brzechwy – "Kopciuszek". W 1989 roku wydał płytę "Krajobraz pełen nadziei". W roku 2003 wspólnie z grupą Myslovitz wykonał cover ich przeboju "Kraków" który znalazł się na dwupłytowym albumie "The Best of Myslovitz". Piosenka Marka Grechuty "Dni, których nie znamy" jest hymnem stadionu miejskiego w Kielcach. W roku 2006 na 43 KFPP w Opolu Marek Grechuta został uhonorowany Grand Prix tego festiwalu (Nagroda Prezesa TVP).
Od 1970 r. był żonaty z Danutą, miał syna Łukasza – absolwenta Akademii Sztuk Pięknych.
Marek Grechuta wziął udział w programie Ktokolwiek widział, ktokolwiek wie, w którym poruszano sprawę zaginięcia jego syna w 1999 roku. Syn odnalazł się po 8 miesiącach.

17 października 2006 r. został pochowany w Alei Zasłużonych Cmentarza Rakowickiego w Krakowie. Pogrzeb poprzedziła msza święta w Kościele Mariackim. Podczas Mszy artyści Piwnicy pod Baranami zaśpiewali "Przychodzimy, odchodzimy" i "Dezyderatę". Gdy trumna z ciałem Marka Grechuty opuszczała bazylikę rozległy się oklaski, którym towarzyszyła melodia piosenki artysty Ocalić od zapomnienia. Od bramy Cmentarza Rakowickiego trumnę Marka Grechuty nieśli jego przyjaciele z Piwnicy pod Baranami m.in.: Grzegorz Turnau, Jan Kanty Pawluśkiewicz, Zbigniew Preisner. Nad grobem Jan Kanty Pawluśkiewicz odczytał wiersz napisany przez Leszka Aleksandra Moczulskiego.
W pogrzebie Grechuty uczestniczyli m.in.: Grzegorz Turnau, Mirosław Czyżykiewicz, Jacek Zieliński, Anna Szałapak, Jacek Wójcicki, Artur Rojek, Leszek Wójtowicz i prezydent Krakowa Jacek Majchrowski.

Za wybitne zasługi dla kultury polskiej i za osiągnięcia w działalności artystycznej Marek Grechuta został pośmiertnie odznaczony przez prezydenta Lecha Kaczyńskiego Krzyżem Komandorskim Orderu Odrodzenia Polski.

9 października 2007, w pierwszą rocznicę śmierci artysty, na Cmentarzu Rakowickim odsłonięto jego pomnik. Uroczystość poprzedził przemarsz korowodu złożonego z przyjaciół poety i miłośników jego twórczości.

W 2009 roku powstał film dokumentalny o życiu Marka Grechuty, "Gdziekolwiek będę...", wyreżyserowany przez Piotra Poraj-Poleskiego i sfinansowany przez Państwowy Instytut Sztuki Filmowej oraz Telewizję Polską.
W 2010 roku Narodowy Bank Polski wyemitował w ramach serii „Historia polskiej muzyki rozrywkowej”srebrną monetę kolekcjonerską z wizerunkiem artysty .