5. Вынесите общий множитель за скобки: $20a^2b - 40ab^2 - 80a^2b^2$.

Наибольший общий делитель коэффициентов 20, -40, и -80 это 20. Наименьшая степень $a$ это $a^1$, и наименьшая степень $b$ это $b^1$. Значит, общий множитель это $20ab$. Вынесем его за скобки: $20ab(a - 2b - 4ab)$.