Partiet har i længere tid truet med at trække sig.