Я понимаю эти слова следующим образом. Мужчине было настолько стыдно, что он в отчаянии опустил глаза и в спешке ушёл домой. Он чувствовал, будто его обвинили в ужасном преступлении, проступке. Он не знал, куда обратиться, куда отвести взгляд. Из такой тяжёлой ситуации он нашёл единственный выход - уйти домой.