Я не знаю что и думать

Один мой знакомый все время отпускает в мою сторону какие-то шуточки. Он вообще такой «шутник», но все таки, не может пройти мимо меня, что бы не зацепить, часто орет просто так, а все его шуточки со временем приобретают все более грубую форму. Я с ним знакома относительно недавно, ни чего плохого я ему не сделала. И вообще стараюсь лишний раз не подходить к нему и не разговаривать. Просто не знаю что и думать, на вопрос «в чем проблема?», он всегда отмалчивается (и кстати это уже не первый случай, несколько лет назад с другим парнем было то же самое). Может со мной что-то не так?