Józef Beck był blisko trzydzieści lat młodszy od Piłsudskiego (rówieśnikiem Marszałka był ojciec Becka), ale obaj byli sobie bardzo bliscy jeszcze od lat poprzedzających wybuch I wojny światowej. Poznali się przypadkiem w Zakopanem i – jak pisze biograf ministra, Ludwik Malinowski – „[Piłsudski] od początku zrobił na nim wielkie wrażenie, od tej pory stał się jego największym nauczycielem i szefem”. W opinii tej Beck utwierdził się, walcząc w Legionach, choć jednocześnie on sam coraz bardziej rósł w oczach Piłsudskiego. Musiał być też zdolnym oficerem, bo nie tylko dosłużył się stopnia porucznika, ale wysyłany był również do Moskwy i Kijowa w celu organizowania tam struktur Polskiej Organizacji Wojskowej.
Po odzyskaniu niepodległości został wezwany przez Naczelnika do Warszawy i od tego momentu rozpoczyna się jego zaskakująco szybka kariera. Najpierw otrzymał wysokie stanowisko w wywiadzie wojskowym, następnie brał udział w delegacjach do Budapesztu i Brukseli, wreszcie, po zaledwie trzech latach, został mianowany attaché wojskowym w Paryżu. Gdy Piłsudski w 1923 r. wycofał się na chwilę z życia politycznego do Sulejówka, Beck także został z niego wycofany i pracował jako buchalter w banku. Ministrem spraw zagranicznych został 2 listopada 1932 r., w młodym jak na to stanowisko wieku – 38 lat.
Urząd szefa MSZ pełnił końca września 1939 r., zasiadając również w Senacie. Jako minister pozostawał wierny przekonaniu marszałka Piłsudskiego, iż Polska powinna utrzymywać równowagę w stosunkach z Moskwą i Berlinem. Podobnie jak on był przeciwnikiem udziału Rzeczypospolitej w układach zbiorowych, które ograniczały według niego swobodę polskiej polityki.
Kierując dyplomacją podpisał m.in. w 1934 r. polsko-niemiecką deklarację o niestosowaniu przemocy, która była jednym z członów polityki równowagi między Rosją a Niemcami, która - jak się okazało - ponosiła fiasko. Wiceminister spraw zagranicznych Jan Szembek w grudniu 1938 r. zauważał, że głównym założeniem całej polityki niemieckiej wobec Polski jest doprowadzenie do sytuacji, w której Warszawa stanie się „naturalnym sojusznikiem” Berlina w przyszłej wojnie ze Związkiem Sowieckim.
Duży wpływ na bieg stosunków polsko-niemieckich miały dwa spotkania w początku stycznia 1939 r. Becka z führerem III Rzeszy Adolfem Hitlerem oraz szefem jej MSZ Joachimem von Ribbentropem. Niemal natychmiast po powrocie Becka do Warszawy, na Zamku Królewskim w Warszawie zorganizowano poufne spotkanie z udziałem prezydenta Ignacego Mościckiego, marszałka Edwarda Rydza-Śmigłego i ministra Józefa Becka. Przedstawiona tego dnia konkluzja szefa dyplomacji stała się faktyczną podstawą polskiej polityki zagranicznej na kolejne miesiące: „Jeśli Niemcy będą podtrzymywać nacisk w sprawach dla nich drugorzędnych, [takich jak] Gdańsk i autostrada, to nie można mieć złudzeń, że grozi nam konflikt w wielkim stylu, a te obiekty są tylko pretekstem. […] Chwiejne stanowisko z naszej strony prowadziłoby nas w sposób nieunikniony na równię pochyłą, kończącą się utratą niepodległości i rolą wasala Niemiec. […] Jako podstawa naszej polityki przyjęta została stanowczość przy zachowaniu spokoju i wyraźnym określeniu, w każdej poszczególnej sprawie granicy między prowokacją a naszym non possumus”.
W sytuacji narastającego zagrożenia ze strony III Rzeszy przyjął gwarancje brytyjskie ogłoszone 31 marca 1939 r. Na początku kwietnia tego roku, w czasie jego wizyty w Londynie, zostały one przekształcone w obustronne zobowiązania (polsko-brytyjski układ sojuszniczy zawarto w Londynie 25 sierpnia 1939 r.). Wkrótce do brytyjskich gwarancji przyłączyła się również Francja.
5 maja 1939 r. minister J. Beck wygłosił w Sejmie słynne przemówienie będące reakcją na wypowiedzenie przez Adolfa Hitlera niemiecko-polskiego paktu o nieagresji. Odnosząc się w nim do kwestii niemieckich żądań pytał: "(...) z chwilą, kiedy po tylokrotnych wypowiedzeniach się niemieckich mężów stanu, którzy respektowali nasze stanowisko i wyrażali opinie, że +to prowincjonalne miasto nie będzie przedmiotem sporu między Polską a Niemcami+, słyszę żądanie aneksji Gdańska do Rzeszy, z chwilą, kiedy na naszą propozycję, złożoną dnia 26 marca, wspólnego gwarantowania istnienia i praw Wolnego Miasta nie otrzymuję odpowiedzi, a natomiast dowiaduję się następnie, że została ona uznana za odrzucenie rokowań - to muszę sobie postawić pytanie, o co właściwie chodzi? Czy o swobodę ludności niemieckiej w Gdańsku, która nie jest zagrożona, czy o sprawy prestiżowe - czy też o odepchnięcie Polski od Bałtyku, od którego Polska odepchnąć się nie da!".
Swoje wystąpienie zakończył słowami: "Pokój jest rzeczą cenną i pożądaną. Nasza generacja, skrwawiona w wojnach, na pewno na okres pokoju zasługuje. Ale pokój, jak prawie wszystkie sprawy tego świata, ma swoją cenę wysoką, ale wymierną. My w Polsce nie znamy pojęcia pokoju za wszelką cenę. Jest jedna tylko rzecz w życiu ludzi, narodów i państw, która jest bezcenna: tą rzeczą jest honor".
Przemówienie wywołało długotrwałą owację posłów. Entuzjastycznie przyjęło je również polskie społeczeństwo.
Prof. Andrzej Garlicki w książce "Historia 1815-1939. Polska i świat" podkreślał, iż minister J. Beck przyjmował to podniecenie społecznych nastrojów z dystansem: "Walił się bowiem oto jeden z filarów jego polityki zagranicznej - poprawne stosunki z Niemcami. Otrzymywał wprawdzie poparcie brytyjskie dla stanowczej wobec III Rzeszy polityki, ale Wielka Brytania była daleko, a Niemcy blisko. Beck wciąż jeszcze miał nadzieję, że Hitler nie zdecyduje się na rozpętanie wojny.(...) Nie wiedział, że decyzje już zapadły. 3 kwietnia Hitler wydał rozkaz, że przygotowania do ataku na Polskę, czyli plan noszący kryptonim +Fall Weiss+, mają być zakończone do 1 września".
Po napaści Niemiec na Polskę oraz sowieckiej agresji, w nocy z 17 na 18 września 1939 r. minister J. Beck wraz z rządem przekroczył granicę Rumunii. Internowany przez władze rumuńskie, przebywał w Slanic Moldovana, Braszov oraz we wsi Snagor pod Bukaresztem.
Klęska państwa w 1939 r. w dużej mierze zaważyła na późniejszych ocenach polityki Józefa Becka. Krytyka polskiej dyplomacji opierała się na założeniu, że popełnione przez MSZ błędy zadecydowały o rozbiorze państwa. Jak zauważają historycy pozostaje otwartym pytanie, czy możliwe było, w ówczesnej sytuacji politycznej, prowadzenie polityki zagranicznej w innym kierunku, np. dokonanie radykalnego zwrotu, jakim byłoby sprzymierzenie z III Rzeszą i wspólne wystąpienie przeciw ZSRS lub przyjęcie oferty sowieckiej "pomocy".
W październiku 1940 r. podjął nieudaną próbę ucieczki. Następnie od listopada 1940 r. do kwietnia 1943 r. przetrzymywany był w Bukareszcie.
Ostanie trzy miesiące życia spędził we wsi Stanesti-Chirulesti położonej niedaleko rumuńskiej stolicy. Chory na gruźlicę zmarł 5 czerwca 1944 r. Pochowany został w wojskowej części cmentarza prawosławnego w Bukareszcie.
W 1991 r. jego prochy sprowadzone zostały do Polski i złożone na Cmentarzu Wojskowym na Powązkach w Warszawie.
Józef Beck odznaczony był m.in.: Orderem Orła Białego, Virtuti Militari V kl., Polonia Restituta I i IV kl., Krzyżem Niepodległości z Mieczami, trzykrotnie Krzyżem Walecznych oraz Złotym Krzyżem Zasługi.