Wenige Monate nach Emmy Scheyers Abreise nach New York zog Henriette Scheyer, ihre 64 Jahre alte Mutter, von der Goslarschen Straße 61 (siehe 5) an die zwei Querstraßen entfernte Liebigstraße (heute Besselstraße). Im Erdgeschoss des Hauses Nr. 6 mietete sie eine 170-Quadratmeter-Wohnung.

Als Emmy Scheyer 1932 wieder nach Deutschland kam, ruhte sie sich erst einmal bei ihrer Mutter aus und schrieb Kandinsky, sie werde sich vielleicht ein gutes gebrauchtes Automobil besorgen und dann nach Berlin kommen. „Wenn ich erst ein Auto habe, dann gondele ich überhaupt so ein bisschen herum.“ Stattdessen wurde sie krank, erholte sich in Braunlage und erlebte in der Reichshauptstadt Hitlers Machtergreifung und den Boykott aller jüdischen Geschäfte, Banken und Arztpraxen. In größter Eile reiste sie zurück nach Amerika.

Im März 1936 wurde Henriette Scheyer eine riesige Transportkiste zugestellt. Sie fand darin gebrauchte Wäsche und 56 Bilder, die mit „Emmy Scheyer“ oder „Renée“ signiert waren, und vergaß sie, weil ihre Schwester Ida Berger zu Besuch kam und ein paar Jahre blieb. Im Januar 1939 fanden Paul und Paula

Scheyer auf dem Dachboden die 56 Bilder Emmy Scheyers. Henriette Scheyer bat die Zollfahndungsstelle in Hannover um Genehmigung, sie nach Hollywood zu senden. Es gab keine Einwände.

Nach Kriegsbeginn hörte Emmy Scheyer, jetzt offiziell Galka Emmy Scheyer genannt, lange nichts mehr von ihrer Mutter. Im April 1940 erfuhr sie über Otto Ralfs, sie wohne nicht mehr an der Liebigstraße sondern Am Gaußberge 1. Dass dies ein sogenanntes „Judenhaus“ war, wurde nicht geschrieben.

Ida Berger zog 1941 nach Hannover, und Henriette Scheyer konnte bei ihr im Altersheim der Minna-James-Heinemann-Stiftung unterkommen. Galka Scheyer bemühte sich um ein Affidavit für sie, aber Henriette Scheyer starb am 24. Februar 1941 nach einer Grippe mit Lungenentzündung und Herzinfarkt (und nicht 1942 durch Suizid, wie oft geschrieben wird).

Ida Berger wurde 1942 in das „Judenhaus“ Ellernstraße in Hannover „verlegt“. Wie die zuständige Stelle 2016 verlauten ließ, habe sie sich am 23.07.1942 „nach Theresienstadt abgemeldet.“ Ida Berger wurde wenige Tage später in Treblinka ermordet.