Скорее все же Вы себя накручиваете, ИМХО.
Во-первых, у некоторых людей вообще бывает крайне неприятный взгляд (но это не значит, что они вынашивают какие-то ужасные планы в отношении Вас), во-вторых, многие машинально "сканируют" квартиру (имею ввиду, что есть люди рассеяные, ни на что не смотрящие и ничего не замечающие вокруг, а есть люди внимательные, наблюдательные, из чисто спортивного интереса разглядывающие квартиру, интерьер тех, к кому попадают ненадолго, по делам одноразовым, не в потолок же им смотреть). Да и вообще ситуаций, когда трудно, а то и ни к чему вовсе, постороннему человеку объяснять свои мотивы (это я касательно покупки мальчуковых вещей соседскому ребенку), полно в жизни

.
В общем не ищите проблем там, где их, скорее всего, просто нет.