Там не только 5 должно быть в квадрате... Там в вычислениях они вообще кучу всего намутили, что можно заметить только присмотревшись. На первый взгляд всё действительно кристально. А эта пятёрка не в квадрате - просто очепятка...
Квадрат разности двух чисел не равен ни модулю этих чисел, ни уж тем более их разности - это квадрат первого числа минус удвоенное произведение первого числа на второе плюс квадрат второго числа. Пятая строка в корне не верна.
Если это писал учитель математики, то я в шоке