Если'в ряд по 10 то для квадрата не хватит, если в ряд по 8 остаётся неполный ряд, если в ряд по 9 тоже неполный ряд в котором на 6 плиток меньше чем в неполном ряду по 8. сколько осталось плитки

Разница  6 плиток возникает после 6 ряда. Накопление  разницы объясняется  разницей плиток в рядах  на 1 плитку.
Объяснение: 
         Ряды "9".                                       Ряды "8"
9 плиток - полный ряд "9"                   1 ряд "8"+1 во втором ряду.
18 плиток  2 полных ряда "9"            2 ряда "8" +2 в третьем ряду
 и  так далее ... .

В  неполном ряду  "8"  должно  быть  + 7 плиток.  В  неполном ряду "9"  +1 плитка.  Тогда выполняется условие  7-1=6

8*6=48+7= 55  плиток
9*6=54+1= 55  плиток
Всё логично  и  понятно.
Условия задачи выполнены,  в  том  числе ограничение в 100 плиток.