Человек складывает руки на груди, когда намерен отдохнуть, посидеть ничего не делая. Отсюда и значение выражения.
