Оптимальный вариант - современные утеплители (мин.вата+алюминивая фольга - как называется не помню).
Бюджетный вариант - засыпать в зазор керамзит (предварительно исследовав зазор, чтобы не засыпать подвал купленным керамзитом, если он не глухой).
Комплексный подход: На стену квартиры со стороны зазора проложить утеплитель, а в зазор засыпать керамзит.
А вообще - поводите по стене рукой - может где трещина и из нее сквозит (особенно между потолком и стеной над окнами), если найдете щель, запеньте монтажной пеной прямо в щель. Я так мёрз, пока не догадался залезть под потолок. Как запенил, сразу жить можно стало. Но, если промерзает именно стена, то только утеплять стену - тут уж никак.