√(X^2-3xy+y^2+1)+|2x^2+5xy-3y^2|=0

$sqrt{x^2-3xy+y^2+1} +|2x^2+5xy-3y^2|=0$
ОДЗ: $x^2-3xy+y^2+1 geq 0$
$sqrt{x^2-3xy+y^2+1} =-|2x^2+5xy-3y^2|$
Видим что корень не может принимать правую часть отрицательным поэтому сделаем условие чтобы правая часть была положительной
$left { {{|2x^2+5xy-3y^2| leq 0} atop { sqrt{x^2-3xy+y^2+1}=(-|2x^2+5xy-3y^2|)^2 }} right.$
Упростим выражение
___________________________________
Разложим на множители
$2x^2-xy+6xy-3y^2=0 x(2x-y)+3y(2x-y)=0 (2x-y)(x+3y)=-$
_____________________________________

$left { {{2x^2+5xy-3y^2=0} atop {x^2-3xy+y^2+1=(2x^2+5xy-3y^2)^2}} right.$
Имеем 2 системы
$left { {{2x-y=0} atop {x^2-3xy+y^2+1=(2x^2+5xy-3y^2)^2}} right.$ и $left { {{x+3y=0} atop {x^2-3xy+y^2+1=(2x^2+5xy-3y^2)^2}} right.$

Решим системы отдельно
$left { {{y=2x} atop {x^2-6x^2+4x^2=(2x^2+10x^2-12x^2)^2}} right. to left { {{y=2x} atop {x^2=1}} right. to left { {{y=pm2} atop {x=pm 1}} right.$

Вторая система:
$left { {{x=-3y} atop {9y^2+10y^2+1=(18y^2-18y^2)^2}} right. to left { {{y=-3y} atop {19y^2+1=0}} right.$
Вторая система уравнения не имеет решений.

Ответ: $(-1;-2);,, (1;2)$