В середине сентября я бы выбрала Кипр, т.к. бОльшая вероятность устойчивой теплой погоды, мне кажется.
С маленьким ребенком на Кипре лучше всего в Ай-Напу или Протарас, т.к. там самые лучшие пляжи. Не пугайтесь того, что Ай-Напа считается тусовочным местом. На окраинах Ай-Напы достаточно тихо и прекрасные пляжи. Центр с ребенком действительно лучше не брать.
Не знаю Ваш бюджет. Если не очень ограничен, то посмотрите отели Dome и Астериас. Они на окраине, на самом берегу, рядом с хорошим пляжем.
Еще хорошо расположен рядом с классным пляжем апарт-отель Сой Найс, но после недавней реконструкции он позиционируется как отель-бутик класса люкс и цена там все-таки не соответствует качеству. Ценник высоченный, сервис по отзывам хромает (для такого ценника).
Более бюджетный вариант - аппарты Сан Фан. Простенько, но рядом с отличным пляжем (тот же, что и у Сой Найс).
Грецию я, честно говоря, люблю больше Кипра, но на свои любимые Халкидики в это время уже не советовала бы. С погодой будет лотерея. Может все быть классно, а может прохладно и дождики.
В середине сентября если и смотреть Грецию, то острова типа Крита и Родоса. На Крите не была, на Родосе с маленьким ребенком может быть проблемой найти хороший вход в воду. Смотрите тогда побережье Средиземного моря, т.к. Эгейское там всегда неспокойное и вход в воду по гальке. На Средиземном хороший вход в море в Фалираки (именно центральный пляж!), на городском пляже Линдоса (но отелей на этом пляже нет). Как я понимаю, в округе Линдоса можно песчанный вход найти.
И все-таки в Ваши сроки лично я за Кипр.