Śmierć marszałka Piłsudskiego była dla polskiego społeczeństwa szokiem. Część osób, lepiej poinformowanych, wiedziała, że marszałek jest chory, ale i one nie zdawały sobie sprawy, że jest to choroba śmiertelna.
Pod koniec 1934 r. stan zdrowia Piłsudskiego był już bardzo zły. Coraz częściej gorączkował, bardzo źle sypiał, pojawiła się również opuchlizna nóg. Od stycznia 1935 r. występowały silne ataki bólów. Adiutant marszałka Mieczysław Lepecki wspominał: "Później zaczęły zjawiać się wymioty. Wszystkie te objawy Marszałek przypisywał niedyspozycjom przewodu pokarmowego i począł stosować dietę. A więc najpierw zrezygnował z potraw ciężkostrawnych, potem zaczął ograniczać porcje, aż wreszcie rozpoczął głodówkę leczniczą" (M. Lepecki "Pamiętnik adiutanta Marszałka Piłsudskiego").
Pomimo nalegań opiekującego się nim dr. Marcina Woyczyńskiego, aby przerwał głodówkę, Piłsudski nadal ją prowadził. "Metoda ta - wspominał Lepecki - odnosiła początkowo pewne sukcesy. Mdłości pokazywały się rzadko, bóle również. Wciąż tylko rosło osłabienie. Marszałek począł stopniowo redukować wszelkie wysiłki fizyczne. Ograniczył, a potem zupełnie zniósł spacery po swoim gabinecie, coraz rzadziej zaglądał do mego pokoju, pasjanse nawet wolał, aby mu układać, nie chcąc męczyć się samemu".
Zdaniem prof. Andrzeja Garlickiego, autora biografii marszałka: "Kuracja głodowa, którą zaaplikował sobie Piłsudski, mogła być symptomem kolejnego stadium choroby. Po prostu utraty apetytu w rezultacie odrzucania przez organizm pokarmów. Ale w owym czasie bardzo modne było oczyszczanie organizmu przez odpowiednią dietę, a właściwie głodówkę. (...) Gwałtowna utrata wagi, o której wspominają wszyscy, którzy stykali się z Piłsudskim w tych ostatnich miesiącach, była zapewne rezultatem nie owej głodówki, a rozwijającej się już szybko choroby nowotworowej. Nie sposób ustalić, jak długo choroba ta trwała. Odmienności indywidualne procesu chorobowego są bowiem w chorobach nowotworowych bardzo duże" (A. Garlicki "Józef Piłsudski 1867-1935").
21 kwietnia 1935 r. Piłsudski, po długich namowach, zgodził się wreszcie na przybycie z Wiednia prof. Karla Wenckebacha, znanego specjalisty od chorób nowotworowych. Cztery dni później przeprowadzono badania. Diagnoza nie pozostawiała nadziei: nowotwór złośliwy wątroby nie nadający się do operowania. Informację tę przekazano gen. Składkowskiemu, który o wyniku badań poinformował prezydenta i premiera.
W następnych dniach marszałek Piłsudski spisał swoją ostatnią wolę: "Nie wiem czy nie zechcą mnie pochować na Wawelu. Niech! Niech tylko moje serce wtedy zamknięte schowają w Wilnie gdzie leżą moi żołnierze co w kwietniu 1919 roku mnie jako wodzowi Wilno jako prezent pod nogi rzucili. Na kamieniu czy nagrobku wyryć motto wybrane przeze mnie dla życia +Gdy mogąc wybrać, wybrał zamiast domu/ Gniazdo na skałach orła, niech umie/ Spać, gdy źrenice czerwone od gromu/ I słychać jęk szatanów w sosen zadumie/ Tak żyłem.+ A zaklinam wszystkich co mnie kochali sprowadzić zwłoki mojej matki z Sugint Wiłkomirskiego powiatu do Wilna i pochować matkę największego rycerza Polski nade mną. Niech dumne serce u stóp dumnej matki spoczywa. Matkę pochować z wojskowymi honorami ciało na lawecie i niech wszystkie armaty zagrzmią salwą pożegnalną i powitalną tak by szyby w Wilnie się trzęsły. Matka mnie do tej roli jaka mnie wypadła chowała. Na kamieniu czy nagrobku Mamy wyryć wiersz z +Wacława+ Słowackiego zaczynający się od słów +Dumni nieszczęściem nie mogą+. Przed śmiercią Mama mi kazała to po kilka razy dla niej czytać".
4 maja marszałek Piłsudski przewieziony został do Belwederu. Tydzień później nastąpił krwotok z ust. Ostatnie chwile życia Piłsudskiego 12 maja tak opisywał w swoim diariuszu adiutant marszałka w Belwederze rotmistrz Aleksander Hrynkiewicz: "Ksiądz zaczyna modlitwy, podają oleje święte, którymi namaszczono rytuałem przewidziane miejsca, na głowie Komendanta. Otoczenie klęczy i modli się. Rodzina wpatrzona w oblicze Komendanta z niemym bólem, niezupełnie jeszcze świadoma tragedii nadchodzącej chwili. Zbliża się kres życia Komendanta, to widzi się i czuje bez słów i wyjaśnień. (...) Komendant szklistym i nieruchomym wzrokiem patrzy w przestrzeń jakby czynił przegląd obrazu swego bohaterskiego i tragicznego życia. Jakieś myśli, jakąś wolę objaśnia słabym ruchem rąk, które za życia i w czasie choroby były zawsze tak czynne i ruchliwe. (...) Minuty ciągną się jedna za drugą długie jak minione dziesiątki lat brzemienne historią. Odwracam głowę, na tarczy zegara 8.45, koniec epoki związanej z życiem Wielkiego Człowieka".
Tuż po śmierci marszałka, salon Belwederu, w którym nastąpił zgon, zamieniono na kaplicę żałobną, gdzie na katafalku spoczywało jego ciało. Przy zmarłym zaciągnięto wartę honorową, którą pełnili czterej oficerowie, dwóch podoficerów i dwóch szeregowych. Wykonana ze srebra trumna z ciałem Piłsudskiego wystawiona była w Belwederze 13 i 14 maja. Katafalk przybrany był w purpurowe sukno z godłem Rzeczypospolitej.
Zwłoki marszałka ubrane były w mundur, przepasany wielką wstęgą orderu Virtuti Militari i z bojowymi orderami na piersiach. W rękach Piłsudski trzymał obrazek Matki Boskiej Ostrobramskiej. Nad głową zmarłego umieszczono przybrane kirem sztandary wojska polskiego z 1831 i 1863 r. oraz sztandary legionowe. Obok stała kryształowa urna z sercem marszałka, przy niej położono czapkę maciejówkę, buławę marszałkowską oraz szablę.
15 maja trumnę z ciałem Piłsudskiego przewieziono na lawecie zaprzężonej w sześć koni do katedry św. Jana. Ustawiono ją w nawie głównej świątyni. Tam marszałka żegnały tłumy. Wydarzenia te tak wspominał Stanisław Cat-Mackiewicz: "Ciało Marszałka Piłsudskiego wniesiono do katedry św. Jana, pozostawiono na noc pod sklepieniem. I tłum warszawski od rana zaczął płynąć jak rzeka. Było tysiące, dziesiątki, setki tysięcy ludu - ludzie stali jedenaście godzin czekając swojej kolei, aby na chwilę przejść prędko koło trumny, aby rzucić choć okiem na jej zamknięte wieko" (S. Cat-Mackiewicz "Historia Polski od 11 listopada 1918 r. do 17 września 1939 r.").
17 maja wieczorem pociąg wiozący ciało Piłsudskiego ruszył do Krakowa, na jego trasie zgromadziły się tysiące ludzi, aby oddać zmarłemu hołd. "Pociąg z oświetloną reflektorami platformą, na której wysoko spoczywała trumna Marszałka, szedł wolno przez Radom, Kielce, Jędrzejów, Miechów do Krakowa przez całą noc. Przy trumnie trzymali wartę generałowie, oficerowie i szeregowi. W jednym z wagonów jechała rodzina Marszałka. Noc była ciemna, od czasu do czasu padał drobny deszcz. Wzdłuż toru kolejowego mieszkańcy rozpalili ogromne ogniska, żegnając odjeżdżającego na zawsze Józefa Piłsudskiego" - pisał Cat-Mackiewicz.
Pociąg żałobny z trumną Piłsudskiego dotarł do Krakowa w sobotę rano 18 maja. Na dworcu na jego przyjazd oczekiwali prezydent RP, rząd, generalicja, korpus dyplomatyczny oraz różnego rodzaju delegacje. Ośmiu generałów, z Juliuszem Rómmlem na czele, przeniosło trumnę z platformy na lawetę armatnią. Po odprawieniu modłów przez metropolitę krakowskiego arcybiskupa Adama Sapiehę, kondukt ruszył na Wawel. Na czele pochodu szedł oddział doboszy z werblami, następnie postępowała orkiestra wojskowa, poczty sztandarowe przysłane przez wszystkie pułki Wojska Polskiego oraz duchowieństwo. Po nich szedł okryty kirem koń Piłsudskiego. Za nim jechała laweta z trumną, ciągnięta przez sześć karych koni. Otaczało ją 12 adiutantów z obnażonymi szablami.
Po dotarciu na wzgórze wawelskie przemówienie ze stopni katedry wygłosił prezydent Ignacy Mościcki, który żegnając marszałka mówił m.in.: "Cieniom królewskim przybył towarzysz wiecznego snu. Skroń jego nie okala korona, a dłoń nie dzierży berła. A królem był serc i władcą doli naszej. Półwiekowym trudem swego życia brał we władanie serce po sercu, duszę po duszy, aż purpurą królestwa swego ducha zagarnął niepodzielnie całą Polskę". Następnie generałowie, przy dźwiękach dzwonu Zygmunta, wnieśli trumnę do katedry. Po mszy pontyfikalnej, którą celebrował metropolita Sapieha, generałowie znieśli ciało marszałka do krypty św. Leonarda. Na zakończenie uroczystości ustawione na wawelskim wzgórzu działa oddały 101 strzałów armatnich. W całym kraju zapanowała trzyminutowa cisza. Szacuje się, że w pogrzebie w Krakowie wzięło udział około 100 tys. osób, kondukt ciągnął się przez kilka kilometrów.
Wspominając atmosferę panującą po śmierci marszałka Cat-Mackiewicz pisał: "Piłsudski miał fanatycznych wielbicieli, którzy go kochali więcej niż własnych rodziców, niż własne dzieci, ale było wielu ludzi, którzy go nienawidzili, miał całe warstwy ludności, całe dzielnice Polski przeciwko sobie, potężną nieufność do siebie. I oto nie znać było tego w dniu pogrzebu. Przeciwnie, można stwierdzić jako fakt i prawdę, że w dniach jego pogrzebu, że na wieść o jego śmierci, strach i zalęknienie, co stanie się teraz z Polską, kiedy Jego zabrakło, przeleciał od Bałtyku poprzez Poznańskie i Śląsk i od Karpat do Dźwiny. Po całej wielkiej ojczyźnie, którąśmy cztery lata po jego śmierci stracili".
W 1937 r. na polecenie metropolity krakowskiego arcybiskupa Adama Sapiehy trumna ze szczątkami marszałka Józefa Piłsudskiego została przeniesiona do krypty pod wieżą Srebrnych Dzwonów.