Мужчина боится моих прикосновений

Здравствуйте! Помогите, пожалуйста, разобраться в ситуации.
Один из моих коллег - мужчина, старше меня на 11 лет (женат), проявляет ко мне интерес: звонит не только по рабочим вопросам, но и просто поболтать, улыбается при общении, на корпоративах предпочитает мое общество всем остальным, при разговоре наедине добавляет в нотки голоса какую-то особую теплоту.
Но больше никаких поползновений нет. Кроме этого, он никогда, даже просто так, ко мне не прикасается. Например, может приобнять по дружески в шутку (например на праздник) за плечи других женщин, а при этом смотреть только на меня.
Однако еще больше меня удивила следующая ситуация. Мы разговаривали о делах, и я взяла его за руку чуть выше локтя. При этом он был в куртке, то есть даже контакта кожа к коже не было. При моем прикосновении он как то замер, спрятал глаза, практически перестал слышать что я говорю и стал отвечать невпопад.
Подскажите, что это может значить и как мне вести себя с этим человеком, если он мне не безразличен (из семьи уводить не в коем случае не собираюсь (я сама замужем), но более близкие отношения, чем сейчас, очень хотела бы завязать)? Ну и что нельзя делать ни в коем случае, если не хочу его оттолкнуть?
Заранее спасибо за ответ.
P.S. Просто я такой ситуацией ни разу не сталкивалась. Обычно, если нравишься мужчине, он сам ищет физического контакта (взять за руку, прикоснуться якобы случайно и т.д.), а если безразлична мужчине, а просто дружеские отношения, то твои прикосновения на него никак не действуют, воспринимаются совершенно спокойно.