it-swarm.com.de

GROUP BY/SUM aus der Shell

Ich habe eine große Datei mit folgenden Daten:

a 23
b 8
a 22
b 1

Ich möchte das bekommen können:

a 45
b 9

Ich kann diese Datei zuerst sortieren und dann in Python durch einmaliges Scannen der Datei ausführen. Was ist eine gute direkte Befehlszeile, um dies zu tun?

30
Legend

Edit: Die moderne (GNU/Linux) -Lösung, wie in Kommentaren vor Jahren erwähnt ;-).

awk '{
    arr[$1]+=$2
   }
   END {
     for (key in arr) printf("%s\t%s\n", key, arr[key])
   }' file \
   | sort -k1,1

Die ursprünglich veröffentlichte Lösung, basierend auf alten Unix-Optionen für sort:

awk '{
    arr[$1]+=$2
   }
   END {
     for (key in arr) printf("%s\t%s\n", key, arr[key])
   }' file \
   | sort +0n -1

Ich hoffe das hilft.

31
shellter

Dieser Perl-One-Liner scheint die Arbeit zu erledigen:

Perl -nle '($k, $v) = split; $s{$k} += $v; END {$, = " "; foreach $k (sort keys %s) {print $k, $s{$k}}}' inputfile
8

Sie brauchen kein awk oder gar eine Sortierung. Wenn Sie Bash 4.0 verwenden, können Sie assoziative Arrays verwenden:

#!/bin/bash
declare -A values
while read key value; do
  values["$key"]=$(( $value + ${values[$key]:-0} ))
done
for key in "${!values[@]}"; do
  printf "%s %s\n" "$key" "${values[$key]}"
done

... oder, wenn Sie die Datei zuerst sortieren (was speichereffizienter ist; GNU sort kann Tricks ausführen, um Dateien größer als den Speicher zu sortieren, die ein naives Skript sind - ob in awk, python oder Shell (normalerweise nicht), Sie können dies auf eine Weise tun, die in älteren Versionen funktioniert (ich erwarte, dass Folgendes durch bash 2.0 funktioniert):

#!/bin/bash
read cur_key cur_value
while read key value; do
  if [[ $key = "$cur_key" ]] ; then
    cur_value=$(( cur_value + value ))
  else
    printf "%s %s\n" "$cur_key" "$cur_value"
    cur_key="$key"
    cur_value="$value"
  fi
done
printf "%s %s\n" "$cur_key" "$cur_value"
8
Charles Duffy

Eine Möglichkeit, Perl zu verwenden:

Perl -ane '
    next unless @F == 2; 
    $h{ $F[0] } += $F[1]; 
    END { 
        printf qq[%s %d\n], $_, $h{ $_ } for sort keys %h;
    }
' infile

Inhalt von infile:

a 23
b 8
a 22
b 1

Ausgabe:

a 45
b 9
2
Birei

Mit GNU awk (Versionen kleiner als 4):

WHINY_USERS= awk 'END {
  for (E in a)
    print E, a[E]
    }
{ a[$1] += $2 }' infile

Mit GNU awk > = 4:

awk 'END {
  PROCINFO["sorted_in"] = "@ind_str_asc"
  for (E in a)
    print E, a[E]
    }
{ a[$1] += $2 }' infile
2

Dies kann leicht mit dem folgenden Single-Liner erreicht werden:

cat /path/to/file | termsql "SELECT col0, SUM(col1) FROM tbl GROUP BY col0"

Oder.

termsql -i /path/to/file "SELECT col0, SUM(col1) FROM tbl GROUP BY col0"

Hier wird ein Python-Paket, termsql , verwendet, das ein Wrapper um SQLite ist. Beachten Sie, dass derzeit kein Upload nach PyPI erfolgt und auch nur systemweit installiert werden kann (setup.py ist ein bisschen kaputt), wie:

Sudo pip install https://github.com/tobimensch/termsql/archive/master.Zip
0
saaj