En la noche del 26 al 27 de septiembre de 1939, en vísperas de la capitulación  de Varsovia, el general Michal Karaszewicz-Tokarzewski recibió la orden del comandante en jefe que estaba internado en Rumania, de establecer una conspiración militar. En unas semanas, reunió un gran grupo de oficiales, que habían evitado el cautiverio y crearon el ejército de conspiración más potente en la Europa ocupada. Primero se llamaba Sluzba Zwycięstwu Polski (SZP - Servicio por la Victoria de Polonia), después Zwiazek Walki Zbrojnej (ZWZ - Unión de Lucha Armada), y -a partir de febrero de 1942- Armia Krajowa (AK - Ejército Nacional), que es su nombre más conocido. El organizador efectivo fue el general Stefan Rowecki (seudónimo "Grot"), que primero fue el jefe del estado mayor y -a partir de junio de 1940 hasta junio de 1943- Comandante en jefe. Después de ser detenido por la GESTAPO esa función la tomó el general Tadeusz Komorowski (seudónimo "Bór"). El Ejército Nacional, tropas de voluntarios, formó también parte de la Fuerzas Armadas Polacas cuya comandancia se encontraba en el extranjero, así como el segmento más importante del Estado Clandestino Polaco. El objetivo principal del AK era preparar y realizar una insurrección general cuando llegase el frente o en caso de que sucediera un colapso general de las fuerzas armadas de Alemania. Se crearon, pues, las estructuras militares adecuadas: el estado mayor, las comandancias de diferentes armas y servicios, las comandancias territoriales (regiones y circunscripciones), se almacenaban armas, se efectuaba el adiestramiento de soldados y militares, se recogían informaciones sobre los enemigos. Además, dado el carácter criminal de la ocupación y los sentimientos populares, era necesario también emprender una lucha militar. Así pues, la actividad del AK se dividía en dos -estrictamente ligadas entre sí- partes o fases: 1. la lucha de conspiración corriente 2. la insurrección general (durante la cual se iba a restituir la plena estructura de las fuerzas armadas).

Paralelamente con el ejército oficial se crearon unidades militarizadas de los partidos políticos, de la conspiración basada en organizaciones sociales (por ejemplo los bomberos, la organización llamada "Skala" - Roca), de la conspiración en organizaciones juveniles (p.e. la Unión de los Exploradores Polacos llamada "Szare Szeregi" - Filas Grises), grupos de división creados por el Estado Mayor antes del estallido de la guerra. Una de las tareas del comandante del AK fue reunir todas estas organizaciones, lo cual tomó bastante tiempo. Finalmente, fuera de las estructuras del AK se quedó una parte de los nacionalistas radicales (Narodowe Sily Zbrojne - Fuerzas Armadas Nacionales) y -creadas desde el verano de 1942 -unidades militares del partido comunista. En la primavera de 1944, cuando el proceso de la integración terminó, el Ejército Nacional contó con más de 300 mil soldados juramentados.

Al lado de las estructuras del estado mayor y las territoriales, existían unidades especiales encargadas, entre otras cosas, de la división. En abril de 1940 fue fundada la Zwiazek Odwetu - Asociación de la Revancha, más tarde trasnformado en la Comandancia de la Sabotaje (Kedyw), que actuaban a nivel central y en cada una de las regiones. En septiembre de 1941, con vistas a los cambios en las relaciones polaco-soviéticas, se creó la organización "Wachlarz" - Abanico que se encargaba de los servicios de inteligencia y sabotaje en la retaguardia del frente soviético-alemán. En el período entre el 1 de enero de 1941 y el 30 de junio de 1944, las unidades del AK y las subordinadas descarrilaron 732 trenes, incendiaron 443 transportes, destruyeron cerca de 4300 vehículos, quemaron 130 almacenes con armas y equipos, dañaron 19 mil vagones y cerca de 6900 locomotoras, incendiaron 1200 cisternas con gasolina, dinamitaron alrededor de 40 puentes ferroviarios, volaron 5 pozos petrolíferos, apagaron 3 altos hornos, realizaron cerca de 25 mil acciones de sabotaje en fábricas de armamentos, alrededor de 5700 atentados contra funcionarios de diferentes formaciones policíacas, soldados y volksdeutsch, liberaron presos de 16 cárceles. Grupos de guerrilleros -que actuaban desde 1943- participaron en más de 170 escaramuzas matando más de mil alemanes. A principios de 1944 había cerca de 60 destacamentos de guerrillas del AK (algunos contando con centenares de soldados) y cerca de 200 patrullas de sabotaje. El AK organizó grupos de conspiración en algunos campos de concentración (entre otros en Auschwitz) y entre los polacos mandados a Alemania para trabajos forzados; prestó ayuda a los presos aliados fugitivos. El AK mantuvo contacto -por radio y a través de mensajeros- con el Gobierno de Polonia y el Estado mayor del Comandante en  Jefe. Existían bases de transferencia fijas (la más importante en Budapest) y canales de correo (entre otros para Suecia). Desde febrero de 1942 fueron llegando oficiales polacos de inteligencia y sabotaje entrenados en Inglaterra (los llamados "cichociemni" - silenciosos-oscuros), que fueron en total 316. Se hacían acciones de propaganda dirigidas a los soldados alemanes (la Acción "N"). Era importante la actividad editorial del AK: se publicaron alrededor de 250 periódicos (entre ellos el mayor periódico clandestino -"Boletín Informativo" que se editó desde el 5 de noviembre de 1939 hasta enero de 1945), reglamentos militares, manuales para alumnos de escuelas de suboficiales (que terminaron cerca de 8600 personas). Fue, pues, una actividad muy diversificada. Su contribución a la lucha el ocupante, sobre todo durante la heroica y temeraria Insurrección en el Ghetto de Varsovia (19 de abril - 16 de mayo de 1943), la tuvieron: la Organización de Combate Judía (ZOB) y - apoyada directamente por el AK- la Unión Militar Judía (ZZW).

Las acciones más espectaculares del AK fueron, entre otras, la inmovilización del empalme del ferrocarril en Varsovia (7-8 de octubre de 1942), la liberación de prisioneros en Pinsk (18 de enero de 1943), el atentado con bombas en la estación de ferrocarril en Berlín (15 de febrero de 1943), la liberación de prisioneros en el centro de Varsovia (la acción delante del Arsenal del 26 de marzo de 1943), el atentado a Franza Kutschera, comandante de la SS y de la Policía del Distrito de Varsovia (1 de febrero de 1944).

Se calcula que hasta julio de 1944 perecieron -a veces en la lucha, pero en la mayoría de los casos fusilados o muertos a consecuencia de las torturas en las prisiones -alrededor de 34 mil soldados del AK y de las formaciones subordinadas, en otras palabras la décima parte del total.  Entre los agentes de la inteligencia las bajas llegaron a la tercera parte.