Η υγεία του είχε επιβαρυνθεί σοβαρά και στις 21 Νοεμβρίου του 1995 εισάγεται εσπευσμένα στο Ωνάσειο Καρδιοχειρουργικό Κέντρο. Οι πιέσεις που του ασκούνται τον αναγκάζουν να υπογράψει, τον Ιανουάριο του 1996, την παραίτησή του, δηλώνοντας ότι «τα προβλήματα της χώρας δεν μπορούν να περιμένουν». Αποσύρεται από την πολιτική στις αρχές του 1996.
Στις 23 Ιουνίου 1996 ο Ανδρέας Παπανδρέου πεθαίνει έπειτα από οξύ ισχαιμικό επεισόδιο στο σπίτι του, στην Εκάλη. Σύμφωνα με την ανακοίνωση του Ωνάσειου Καρδιοχειρουργικού Κέντρου «Τα αποτελέσματα της νεφρικής βιοψίας έδειξαν εκτεταμένες βλάβες των νεφρικών σωληναρίων επί εδάφους προηγηθείσης σωληναριακής νεκρώσεως. Τα σπειράματα εμφανίζουν ολικές ή μερικές σκληρυντικές αλλοιώσεις, αλλά στοιχεία σπειραματονεφρίτιδας δεν παρατηρήθηκαν. Στοιχεία συνηγορούντα υπέρ μιας συστηματικής νόσου (π.χ. αγγειϊτιδας) δεν αναγνωρίσθηκαν στο εξετασθέν υλικό. Παρομοίως δεν αποδείχθηκαν στοιχεία ειδικής φλεγμονής ή κακοήθειας».
Κηδεύεται στις 26 Ιουνίου 1996, στο Α’ Νεκροταφείο Αθηνών, με τιμές αρχηγού κράτους. Ο θάνατός του προκάλεσε κύμα συγκίνησης σε όλη τη χώρα και πλήθη κόσμου πήγαν στην κηδεία του. Υστατο φόρο τιμής τού απέτισαν ηγέτες και προσωπικότητες από όλο τον κόσμο.
Ο γιος του Γιώργος εκφώνησε έναν επικήδειο λόγο που έμεινε στη μνήμη όλων από τη φράση «Τα έμαθες τα νέα, Πατέρα;»…
«…Πατέρα, θέλουμε να σου μιλήσουμε με τον ίδιο τρόπο όπως κάθε φορά που συνέβαινε κάτι σημαντικό. Τα νέα είναι τα εξής: ένας σπουδαίος άνδρας, ένας μεγάλος επαναστάτης, ο πατέρας μας, έφυγε.
Και θέλουμε να σου πούμε κάτι ακόμα: Σε Αγαπάμε. Ολοι που μαζεύτηκαν εδώ, σε αγαπάνε. Ολοι μας ορφανέψαμε.
Γεια σου, Πατέρα».
