Obwohl Josef Andorfer eine Erfolgsbilanz vorzuweisen hatte, wurde er von der Gesellschafterversammlung am 1. Februar 2005 gefeuert. So retteten ihn weder die hohe Profitabilität des Senders noch der Rekordmarktanteil von 7,5 Prozent in der Zielgruppe, den RTL II im Jahr 2004 erreicht hatte. Bei Herbert Kloiber war Andorfer in Ungnade gefallen, weil er zu wenige seiner Filme abspielte und auch bei RTL machte er sich wenig Freunde mit seiner Entscheidung, RTL II nicht mehr von IP Deutschland, sondern von El Cartel Media vermarkten zu lassen.
Kritik an der Amtsführung Josef Andorfers bei der Mehrheit der Gesellschafter hätten diesen Schritt notwendig gemacht, erklärte dazu damals Manfred Braun, Geschäftsleiter der Hamburger Bauer Verlagsgruppe, der den Vorsitz der Gesellschafterversammlung hat. Seitdem führt Jochen Starke, bis dahin kaufmännischer Leiter, den Sender. "Zunächst", wie RTL II damals verlautbaren ließ - doch auch über ein Jahr später kann der Münchner Sender keinen anderen Nachfolger verkünden. Mit den Marktanteilen ging es seitdem spürbar bergab. So wurden im Februar 2006, ein Jahr nach Andorfers Ablösung, nur noch 5,8 Prozent Marktanteil in der Zielgruppe erzielt. Auch der Gewinn brach um über 50 Prozent ein.
Doch auch in anderer Hinsicht kommt RTL II der Rauswurf Andorfers nach Informationen der "Welt" nun teuer zu stehen. So habe das Gericht RTL II nahegelegt, sich mit Andorfer bis zum 25. April außergerichtlich auf eine Abfindung zu einigen. Dem Österreicher sei bereits ein Angebot über "ein paar Millionen" gemacht worden, dieser habe die Summe jedoch als zu gering abgelehnt. Vor Gericht stünde im laut "Welt" offenbar ein noch höherer Betrag zu. Es wird nun erwartet, dass sich Andorfer, dessen Vertrag noch bis 2008 lief, und sein Ex-Sender auf eine Abfindung im hohen einstelligen Millionenbereich einigen.