W nocy z 26 na 27 września 1939 r., w przededniu kapitulacji Warszawy, gen. Michał Karaszewicz -Tokarzewski, otrzymał rozkaz Naczelnego Wodza, który internowany był w Rumunii, stworzenia konspiracji wojskowej. W ciągu kilku tygodni zgromadził grono oficerów, którzy uniknęli niewoli i ex nihilio zbudowali najpotężniejsze wojsko konspiracyjne w okupowanej Europie. Początkowa jego nazwa brzmiała Służba Zwycięstwu Polski (SZP), później Związek Walki Zbrojnej (ZWZ), a od lutego 1942 r. Armia Krajowa (AK), pod którą jest najlepiej znane. Właściwym organizatorem był gen. Stefan Rowecki (pseudonim "Grot"), który był najpierw szefem sztabu, a od czerwca 1940 r. do czerwca 1943 r. Komendantem Głównym. Po aresztowaniu go przez Gestapo funkcję objął gen. Tadeusz Komorowski (ps. "Bór"). AK, wojsko ochotnicze, było zarazem częścią Polskich Sił Zbrojnych, których dowództwo znajdowało się na obczyźnie, jak i najważniejszym segmentem Polskiego Państwa Podziemnego. Zasadniczym celem AK było przygotowanie i przeprowadzenie powstania powszechnego w okresie nadejścia frontu lub w wypadku ogólnego załamywania się sił zbrojnych Niemiec. Tworzono więc odpowiednie struktury - sztab, dowództwa rodzajów broni i służb, dowództwa terytorialne (okręgi, na niższym szczeblu obwody), gromadzono broń, szkolono żołnierzy i oficerów, zbierano informacje o wrogach. Jednak z uwagi na zbrodniczy charakter okupacji i nastroje społeczne należało też podejmować walkę bieżącą. Tak więc aktywność AK dzieliła się na dwie - ściśle ze sobą powiązane - części lub fazy: 1. bieżąca walka konspiracyjna, 2. powstanie powszechne (w trakcie którego miało nastąpić odtworzenie pełnej struktury sił zbrojnych).

Równolegle z oficjalnym wojskiem powstawały jednostki zmilitaryzowane partii politycznych, konspiracji opartej na organizacjach społecznych (np. Straży Pożarnych, organizacja pn. Skała) i młodzieżowych (np. Związku Harcerstwa Polskiego, pn. Szare Szeregi), tworzone przez grupy dywersyjne przygotowane przez Sztab Generalny przed wybuchem wojny. Jednym z zadań komendanta AK było scalenie ich, co trwało dosyć długo. Ostatecznie poza strukturami AK pozostała część radykalnych nacjonalistów (Narodowe Siły Zbrojne) oraz - tworzone od lata 1942 r. - jednostki wojskowe partii komunistycznej. Wiosną 1944 r., gdy proces scalania został zakończony, Armia Krajowa liczyła ponad 300 tys. zaprzysiężonych.

Obok struktur sztabowych i terytorialnych istniały specjalne jednostki zajmujące się m.in. dywersją. W kwietniu 1940 r. powstał Związek Odwetu, przekształcony później w Komendę Dywersji (Kedyw), które działały na szczeblu centralnym i w każdym okręgu. We wrześniu 1941 r., m.in. w związku ze zmianą stosunków polsko-sowieckich utworzono organizację "Wachlarz", która zajmowała się wywiadem i dywersją na zapleczu frontu niemiecko-sowieckiego. W okresie 1 stycznia 1941-30 czerwca 1944 ramach walki bieżącej jednostki AK i podległe m.in. wykoleiły 732 pociągi, podpaliły 443 transporty, zniszczyły około 4,3 tys. pojazdów, spaliły 130 magazynów broni i wyposażenia, uszkodziły 19 tys. wagonów i około 6,9 tys. lokomotyw, podpaliły 1,2 tys. cystern z benzyną, wysadziły blisko 40 mostów kolejowych, zniszczyły 5 szybów naftowych, zamroziły 3 wielkie piece hutnicze, przeprowadziły około 25 tys. akcji sabotażowych w fabrykach zbrojeniowych, dokonały około 5,7 tys. zamachów na funkcjonariuszy różnych formacji policji, żołnierzy i volksdeutschów, uwolniły więźniów z 16 więzień. Oddziały partyzanckie - działające od 1943 r. - stoczyły ponad 170 potyczek zabijając ponad tysiąc Niemców. W początkach 1944 r. działało stale około 60 oddziałów partyzanckich AK (niektóre liczyło po kilkuset żołnierzy) oraz blisko 200 patroli dywersyjnych. AK zorganizowało grupy konspiracyjne w niektórych obozach koncentracyjnych (m.in. w Auschwitz) i wśród Polaków wysłanych do Niemiec na przymusowe roboty, udzielano pomocy zbiegłym z niewoli jeńcom alianckim. Utrzymywany był - drogą radiową i przez kurierów - kontakt z rządem RP i sztabem Naczelnego Wodza, działały stałe bazy przerzutowe (najważniejsza w Budapeszcie) i kanały kurierskie (m.in. do Szwecji). Od lutego 1942 r. przyjmowano przeszkolonych w Anglii Polaków, oficerów dywersji i wywiadu ("cichociemni"), których przerzucono łącznie 316. Prowadzono propagandową akcję dywersyjną skierowaną do żołnierzy niemieckich (Akcja "N"). Rozległa była działalność wydawnicza AK: wydano około 250 gazetek, w tym największą gazetkę konspiracyjną - "Biuletyn Informacyjny", który ukazywał się od 5 listopada 1939 r. do stycznia 1945 r., regulaminy wojskowe, podręczniki dla elewów szkół podoficerskich (które ukończyło około 8,6 tys. osób). Była to więc aktywność niezwykle urozmaicona. Osobny wkład w walce z okupantem, przede wszystkim w postaci bohaterskiego i straceńczego Powstania w Getcie Warszawskim (19 kwieceiń-16 maj 1943 r.), miały Żydowska Organizacja Bojowa (ŻOB) oraz - wspierany bezpośrednio przez AK - Żydowski Związek Wojskowy (ŻZW).

Do najbardziej spektakularnych akcji AK należały m.in. unieruchomienie węzła kolejowego w Warszawie (7/8 października 1942 r.), odbicie więźniów w Pińsku (18 stycznia 1943 r.), zamach bombowy na dworcu kolejki miejskiej w Berlinie (15 luty 1943 r.), odbicie więźniów w centrum Warszawy (akcja pod Arsenałem, 26 marca 1943 r.), zamach na Franza Kutscherę, dowódcę SS i Policji Dystryktu Warszawskiego (1 lutego 1944 r.).

Oblicza się, że do lipca 1944 r. zginęło - w walce, ale najczęściej zostało rozstrzelanych lub zamęczonych w więzieniach - około 34 tys. żołnierzy AK i podległych mu formacji. A więc około 1/10 stanu. Wśród "cichociemnych" straty sięgały 1/3.