La Segunda Guerra Mundial ha terminado en 1947, siendo los Aliados derrotados por el Eje. Los Estados Unidos han sido invadidos y consecuentemente divididos entre japoneses y alemanes, del mismo modo que Alemania tras su derrota en el «mundo real».
Un autor que se acerca a un escenario como el propuesto se enfrenta al problema de describir cómo sería el mundo si los nazis hubieran ganado la guerra. Dick opta por trazar a grandes rasgos la brutalidad nazi llevada al mundo entero, e incluso al espacio exterior, y elige centrarse preferentemente en la cotidianidad de los americanos derrotados dentro de una cultura japonesa victoriosa.
La acción se desarrolla en 1962 en la costa Oeste de los que otrora fueran los Estados Unidos, ahora PSA, Pacific States of America, zona de influencia japonesa. Los nativos son ciudadanos de segunda clase a pesar de que su cultura es admirada por los vencedores, a tal punto que uno de los mejores negocios es la venta de auténticas antigüedades americanas, como relojes de Mickey Mouse. Este mundo nos es descrito a través de las vidas de Robert Childan, Frank Frink, su ex-esposa Juliana, y Nobusuke Tagomi, saltando la narración constantemente de un personaje a otro.
La trama gira alrededor de tres cuestiones que se tocan por momentos: el comercio en torno a las antigüedades americanas y la valoración que los japoneses hacen de ella, la misión del Sr. Baynes, llegado de Europa, para entrevistarse, con fines aparentemente comerciales, con el Sr. Shinjiro Yatabe, y un extraño libro, censurado por los nazis, que describe a los Aliados victoriosos, escrito por un tal Hawthorne Abendsen, el Hombre en el Castillo al que alude el título.
