слегка колебать, качать (физически) - это прямое значение ( ветер колышет листья)
а вот "меня не колышет твоя проблема" - т.е. не волнует, не заставляет переживать - это переносный смысл.
