Algún programa o sitio que detecte frases repetidas?

Pues eso, tengo millones de enlaces y me gustaría borrar los enlaces repetidos! algo parecido es esto WordCounter - Count Words & Correct Writing que te dice las keys que se repiten pero no lo dice bien o sólo detecte por palabras y no está del todo bien desarrollado ya que se cuelga al poner muchas palabras... Alguién conoce? :ambivalence:


La cuestión es esa que puede que en esos montones de link se repitan varios y lo que quiero que automaticamente me salgan las lineas o link que se repiten "/

Gracias