Раздражение — не внешнее явление, а внутреннее. Нельзя раздражать, можно лишь раздражаться. «Меня раздражает» — некорректная формулировка, при которой центр тяжести, т.е. вина и ответственность, переносятся вовне. Корректно — «я раздражаюсь». Раздражение — это моя реакция на ту или иную акцию. Человек недоволен другими тогда, когда он недоволен собой.
Не стоит путать с «мне не нравится». «Мне не нравится» не значит «я раздражаюсь», а значит «я не принимаю, отказываюсь».