Или вообще не комментируйте отказ («спасибо за интерес к вакансии, но, к сожалению, мы не готовы дальше рассматривать вашу кандидатуру»), или скажите что-то типа «спасибо, что пришли, я вам позвоню/напишу, если мы решим дальше рассматривать вашу кандидатуру». Если чувак будет звонить и выпытывать причину — смело отвечайте, что-то обтекаемое, типа «вы нам не подошли по совокупности факторов, есть более привлекательные кандидаты». Тем более, что это правда
Вообще имхо не надо бояться отказывать, если что-то смущает, пусть даже необъективное — нафига брать на работу человека, с которым неприятно? Тем более, что его профессиональные качества вызывают вопросы.