\[\left( 5x^{2} - 3xy - y^{2} \right) - (*) = x^{2} + 3xy\]
\[(*) = 5x^{2} - 3xy - y^{2} - x^{2} - 3xy\]
\[(*) = 4x^{2} - 6xy - y^{2}.\]