Korzenie Armii Krajowej sięgają zawiązanej w nocy z 26 na 27 września 1939 roku przez grupę wyższych oficerów z gen. Michałem Karaszewiczem-Tokarzewskim, przy współudziale prezydenta Warszawy Stefana Starzyńskiego, konspiracyjnej organizacji Służba Zwycięstwu Polski. Stała się ona zalążkiem rozbudowanego potem Państwa Podziemnego.
Utworzona 27 września 1939 roku Służba Zwycięstwu Polski została przekształcona najpierw w 1940 roku w Związek Walki Zbrojnej. Decyzja o powstaniu AK była podyktowana koniecznością scalenia polskich konspiracyjnych oddziałów zbrojnych i podporządkowania ich rządowi RP w Londynie. , W skład AK weszło ok. 200 organizacji wojskowych, zarówno spod okupacji niemieckiej, jak i sowieckiej.
Armia Krajowa była konspiracyjną organizacją wojskową stanowiącą integralną część Sił Zbrojnych RP. Podlegała Naczelnemu Wodzowi i Rządowi Rzeczypospolitej Polskiej na uchodźstwie. W zamierzeniach rządu miała być organizacją ogólnonarodową, ponadpartyjną, a jej Komendant Główny jedynym, upełnomocnionym przez rząd dowódcą krajowej siły zbrojnej. Głównym zadaniem AK było prowadzenie walki o odzyskanie niepodległości przez organizowanie i prowadzenie samoobrony i przygotowanie armii podziemnej na okres powstania, które miało wybuchnąć na ziemiach polskich w okresie militarnego załamania Niemiec.
Kolejnymi dowódcami AK byli generałowie: Stefan Rowecki ps. Grot - do 30 czerwca 1943 roku, Tadeusz Komorowski ps. Bór - do 2 października 1944 roku, Leopold Okulicki ps. Niedźwiadek - do 19 stycznia 1945 roku. Komendant Główny AK podlegał Naczelnemu Wodzowi Polskich Sił Zbrojnych. Organem dowodzenia AK była Komenda Główna, w której skład wchodziły oddziały, piony organizacyjne i samodzielne służby - oddziały: I Organizacyjny, II Informacyjno-Wywiadowczy, III Operacyjno-Szkoleniowy, IV Kwatermistrzostwa, V Łączności Operacyjnej, VI Biura Informacji i Propagandy oraz VII Finansów i Kontroli, a także Kierownictwo Dywersji.
Terenowa struktura organizacyjna AK odpowiadała zasadniczo przedwojennemu podziałowi administracyjnemu kraju. Na terenie województw tworzono okręgi, w powiatach - obwody, w gminie lub kilku gminach - placówki. Tworzone były także obszary będące jednostkami strukturalnymi, obejmującymi kilka okręgów. Na początku 1944 roku Komendzie Głównej AK podlegały 4 obszary i 8 samodzielnych okręgów. W skład AK wchodziły także jednostki strukturalne, działające poza granicami kraju: Samodzielny Wydział do Spraw Kraju Sztabu Naczelnego Wodza tzw. Oddział VI oraz Oddziały AK na Węgrzech ("Liszt") i w Niemczech (Komenda Okręgu Berlin "Blok").
AK od początku była organizacją masową, zwiększającą szeregi przez werbunek ochotników i kontynuowanie akcji scaleniowej, rozpoczętej przez Związek Walki Zbrojnej. W latach 1940-1944 do AK przystąpiły m.in.: Tajna Armia Polska, Polska Organizacja Zbrojna "Znak", Gwardia Ludowa PPS-WRN, Tajna Organizacja Wojskowa, Konfederacja Zbrojna, Socjalistyczna Organizacja Bojowa, Polski Związek Wolności oraz częściowo Narodowa Organizacja Wojskowa, Bataliony Chłopskie i Narodowe Siły Zbrojne.
Liczba zaprzysiężonych żołnierzy AK wynosiła na początku 1942 roku ok. 100 tys., zaś w lecie 1944 roku już ok. 380 tys., w tym: ok. 10,8 tys. oficerów, 7,5 tys. podchorążych i 87,9 tys. podoficerów. Kadra AK rekrutowała się z oficerów i podoficerów armii przedwrześniowej oraz z absolwentów tajnych Zastępczych Kursów Szkoły Podchorążych Rezerwy i Zastępczych Kursów Podoficerów Piechoty, a także przerzucanych do kraju oficerów, tzw. cichociemnych. Od 1943 roku w jednostkach podporządkowanych Komendzie Głównej AK tworzono kompanie i bataliony, od 1944 roku - pułki, brygady, dywizje, zgrupowania pułkowe i dywizyjne.
Potrzeby finansowe, materiałowo-sprzętowe i w zakresie uzbrojenia były zabezpieczane przez rząd RP i uzupełniane w drodze akcji bojowych i innych działań, mających na celu zaopatrzenie w broń, mundury, sprzęt i środki finansowe (m.in. zakupy broni i własna, tajna produkcja broni strzeleckiej: pistoletów maszynowych, granatów i materiałów wybuchowych).
AK realizowała swe cele poprzez prowadzenie walki bieżącej i przygotowywanie powstania powszechnego. Walka bieżąca prowadzona była głównie przez akcje małego sabotażu, akcje sabotażowo-dywersyjne, bojowe i bitwy partyzanckie z siłami policyjnymi oraz regularnym wojskiem niemieckim. Specjalne miejsce w działalności bojowej AK zajmowały akcje odwetowe i represyjne w stosunku do SS i policji oraz zdrajców i prowokatorów.
Przygotowaniem i wykonaniem akcji sabotażowo-dywersyjnych i specjalnych zajmowały się autonomiczne piony wydzielone z KG AK: Związek Odwetu, "Wachlarz" i Kierownictwo Dywersji, pod nadzorem Kierownictwa Walki Konspiracyjnej, a następnie Kierownictwa Walki Podziemnej. Innymi formami walki bieżącej były: organizowana na szeroką skalę akcja propagandowa wśród społeczeństwa polskiego (prowadzona przez Biuro Informacji i Propagandy), wydawanie prasy, np. "Biuletynu Informacyjnego", szerzenie dezinformacji wśród Niemców (akcja "N") oraz wywiad wojskowy.
Kulminacją wysiłku zbrojnego AK było Powstanie Warszawskie. Po jego klęsce jednostki AK na terenach zajętych przez Armię Czerwoną zostały zdemobilizowane.
19 stycznia 1945 roku Komendant Główny gen. Okulicki wydał rozkaz o rozwiązaniu AK. Straty AK wyniosły ok. 100 tys. poległych i zamordowanych żołnierzy, ok. 50 tys. zostało wywiezionych do ZSRR i uwięzionych. Do moskiewskiego więzienia trafił m.in. gen. Okulicki, sądzony w procesie szesnastu przywódców Państwa Podziemnego.
Wobec represji sowieckich i polskich służb bezpieczeństwa nie wszystkie oddziały AK podporządkowały się rozkazowi o demobilizacji. Powstały nowe organizacje konspiracyjne m.in.: Ruch Oporu Armii Krajowej i Zrzeszenie "Wolność i Niezawisłość". Żołnierze AK byli prześladowani przez władze komunistyczne, zwłaszcza w okresie stalinizmu, wielu z nich skazano na karę śmierci lub wieloletniego więzienia.