Слово "Mathematics" неживой, т.е. это предмет. Значит он It (Это)
Was используется только в I/He/She/It
Were используется только в You/We/They
Следовательно ответ 1)wasn't (кстати это сокращённая от was not)
