При взвешивании четырех рыб по две штуки во всех возможных вариантах их масса была равна 4 кг, 6 кг, 7 кг, 8 кг, 9 кг и 11 кг. сколько кг составляет масса всех рыб? какова масса каждой рыбы? массу всех рыб я нашла 15 кг. это понятно. массу каждой рыбы тоже нашла методом подбора 1 кг 3 кг. 5 кг. 6 кг. мне нужно знать есть ли какой-то решения этой или только методом подбора?

Строго говоря, перебор всех возможных вариантов - достаточно математический метод.
а по сути решается примерно так..
рыбки А,Б,В,Г 
Каждая рыба участвовала в трех взвешиваниях, таким образом принеся в общую копилку взвешиваний 3*на собственную массу, кг. А все 4 рыбы
3*А+3*Б+3*В+3*Г=4+6+7+8+9+11
3*(А+Б+В+Г)=45
масса всей рыбы 15 кг
 
что касаемо 2 вопроса:
Для определености будем считать А<Б<В<Г
4+6+7=17
эта сумма набирается в двух случаях:
(А+Б)+(А+В)+(А+Г)
(А+Б)+(А+В)+(Б+В)
1) =2*А+(А+Б+В+Г)=2*А+15 ⇒А=1, Б=4-1=3, В=5, Г=6
2) =2*А+2*Б+2*В=2*(А+Б+В+Г)-2*Г=2*15-2*Г ⇒Г=6,5 кг
понятно, что 11=В+Г ⇒В=4,5
Б+В=7, Б=2,5
А=1,5
ответы: 1 3 5 6 и 1,5 2,5 4,5 6,5