Tips

IT技術系Tips

ファイルを読み込んで重複を削除する(Linux)

コマンド

(py3k)anonymous-no-MacBook-Pro:tmp anonymous$ cat yakuman.txt | sort | uniq
地和
天和
四暗刻
大三元
大四喜
字一色
小四喜
清老頭
緑一色
大三元 四暗刻
大三元 字一色
大四喜 字一色
小四喜 字一色
九蓮宝燈
国士無双
数え役満
四暗刻単騎
国士無双13面

uniqコマンドはソート済みのデータの重複を削除するコマンドなので、sortコマンドで一旦ソートしている。

yakuman.txt

四暗刻単騎
国士無双
大三元
国士無双
国士無双
小四喜
小四喜
大三元
....以下略