Почему в наречии "не шибко(умный)" частица пишется раздельно, несмотря на то что наречия на -о,-е пишутся раздельно только в случаях противопоставления и при словах-магнитах? ответ, , обоснуйте.

Потому что частица не здесь относится к существительному, а не к наречию. Если б его не было, то писалось бы неумный. 
Ну, мне так кажется)