Поспрашивайте в хоз. магазинах, там есть разные утеплители (в т.ч. и оконный "скотч"). Если щели большие, то раньше продавались полоски поролона, вот они как раз туда подойдут. Правда, в этом году я их еще не нашла, если увидите в продаже, дайте знать
.
Если щелочки небольшие, то можно такими тонкими белыми полосками (они приклеиваются)проложить рамы.
Ну а поверх, уже "скотч". Но если Вы уже утеплили рамы, а толку нет, то надо смотреть нет ли зазоров м/у стеклами и рамой (их замазывают "тестом", кто из асбеста, кто из крахмала или муки). А еще часто дует из-под подоконника. Тут наверно герметиком придется защищаться.