Слово математика относится к 1 склонению.
В дательном падеже такие существительные имеют окончание Е:
тетрадь (по чему?) по математике.
