Eliminar líneas duplicadas no consecutivas con AWK
$> awk '!array_temp[$0]++' fichero_a_tratar
Este script elimina las líneas duplicadas aunque éstas no sean consecutivas.
Para ello se basa en la utilización de un array temporal de tipo hash donde
las líneas que aún no han aparecido valen 0, y las que han aparecido tienen un valor distinto de 0.
Gracias me ha ayudado demasiado en procesos de while que he realizado.. y repetia lineas muchas gracias