Как вариант можно купить миниатюрный МП3 плеер, они есть сафсем малкие. У всех есть функция записи. Большинство миниатюрных плееров поключается к компьютеру, выполнен в виде флешки (с юсб).
И стоит не 10 тыщ. Но тут важно какие у Вас цели, какое качество записи Вам необходимо, удобство включения. Чуткость микрофона можно проверить прямо в магазине.