Detaily k hodnoceným úlohám

Napište skript (shellovou rouru), které přečte logy webového serveru a vypíše den s nejvyšším počtem požadavků.

Logy budou ve stejném formátu jako v příkladu na cvičení:

2023-01-05,02:35:05,192.168.18.232,622,https://example.com/charlie.html
2023-01-05,09:01:33,10.87.6.151,100,https://example.com/bravo.html
2023-01-06,17:25:17,52.168.104.245,1033,https://example.com/delta/delta.html

Pro výše uvedená data předpokládáme, že skript vypíše následující na svém výstupu.

2023-01-05

Log dostane skript na standardním vstupu, datum vypište na standardní výstup. Můžete předpokládat, že vstup není nijak poškozený. Nepředpokládejte nic o pořadí vstupních řádek.

Očekáváme, že zvládnete následující úlohy pomocí Gitu na příkazové řádce (některé budete muset provádět na vzdáleném stroji linux.ms.mff.cuni.cz).

• Nastavit si prostředí Gitu (autor a e-mail)
• Naklonovat repozitář (z gitolite3@linux.ms.mff.cuni.cz nebo z GitLabu nebo obecně přes HTTPS)
• Vytvořit commit
• Vytvořit větev
• Přepínat mezi větvemi
• Zmergovat větev (a vyřešit případné konflikty)
• Nahrát změny (větve) na server

Ujistěte se, že můžete klonovat z gitolite3@linux.ms.mff.cuni.cz když jste na školních počítačích. Bude dostupná jen autentikace veřejným klíčem (tj. nahrajte vaše klíče do 05/key.[0-9].pub souborů ve vašem repozitáři - jak je popsáno na cvičení 05 - ještě před zkouškou).

Aktualizace: přidal jsme nový CI job k vašim GitLabovým repozitářům, který by vás měl upozornit na typické problémy s vašimi klíči. Klidně ho můžete spustit i lokálně pomocí ./bin/run_tests.sh misc/keys.

Následující příkaz (nahraďte LOGIN vaším SISovým/Gitlabovým loginem s malými písmeny) to zkontroluje.

ssh -o ForwardAgent=no LOGIN@u-pl1.ms.mff.cuni.cz ssh -T gitolite3@linux.ms.mff.cuni.cz

Měli byste vidět na výstupu něco jako tohle:

hello LOGIN, this is gitolite3@linux running gitolite3 3.6.13-2.fc39 on git 2.44.0

 R W    lab05-LOGIN
 R      lab07-group-sum-ng

Pokud vidíte následující, vaše klíče nejsou v pořádku nastaveny.

(LOGIN@u-pl1.ms.mff.cuni.cz) Password:
Permission denied, please try again.
Permission denied, please try again.
gitolite3@linux.ms.mff.cuni.cz: Permission denied (publickey,password).

Klidně si URL gitolite3@linux.ms.mff.cuni.cz uložte někde na místní disk do vašeho $HOME, abyste ho nemuseli ručně opisovat během písemky.

Host exam
    Hostname linux.ms.mff.cuni.cz
    User gitolite3

Písemka se zaměřuje na práci s Gitem. Cílem nebude napsat celý skript ale budete pracovat s repozitářem, ve kterém bude následující skript pro tisk jednoduchý sloupcových grafů v terminálu. Budete v něm ale dělat drobné změny (třeba opravy překlepů), na správné místo v kódu vás ale vždy navedeme.

import argparse
import sys

def parse_config():
    args = argparse.ArgumentParser(description='Console bar plot')
    args.add_argument('--columns', default=60, type=int, metavar='N')
    return args.parse_args()

def load_input(inp):
    values = []
    for line_raw in inp:
        line = line_raw.strip()
        if line.startswith('#') or not line:
            continue
        try:
            val = float(line)
        except ValueError:
            print(f"WARNING: ignoring invalid line '{line}'.", file=sys.stderr)
            continue
        values.append(val)
    return values

def print_barplot(values, scale, symbol):
    for val in values:
        print(symbol * round(val / scale))

def main():
    config = parse_config()
    values = load_input(sys.stdin)
    if not values:
        sys.exit(0)
    coef = max(values) / config.columns
    print_barplot(values, coef, '#')

if __name__ == '__main__':
    main()

V turnaji může být libovolný počet týmů a každý tým může zaslat svou implementaci soutěžní úlohy. Implementace je pak vyhodnocena pomocí sady automatizovaných testů a krátký záznam z testů je zkopírován na známé místo.

Vaším úkolem je zpracovat výstupy automatických testů a vygenerovat souhrnnou webovou stránku. Protože vlastní generování HTML není zas až tak zajímavé, úkol se zastaví na hranici generování sady stránek ve formátu Markdown.

Vstupní data budou uložena v adresáři tasks. Každý podadresář odpovídá jedné úloze, vlastní výsledky jsou v souborech pojmenovaných podle názvu týmu s příponou .log.gz (tj. jedná se o prostý textový soubor komprimovaný gzipem). Každý řádek v log souboru začíná buď pass (včetně mezery), nebo fail , nebo jej lze pro naše účely ignorovat.

Předpokládá se, že skript shellu může být (případně) nainstalován v nějakém adresáři na cestě ($PATH), ale data bude vždy číst z aktuálního pracovního adresáře.

Máte vygenerovat celkové pořadí týmů, kde se každý splněný test (tj. řádek začínající na pass ) počítá za jeden bod (a body se sčítají napříč všemi úlohami). A pro každý tým musíte také připravit stránku, kde bude zobrazen rozpis bodů napříč jednotlivými úlohami. Tato stránka bude také odkazovat na původní log soubor (očekává se, že soubor zkopírujete a rozbalíte do stejného adresáře, kde jsou markdown soubory).

Například může strom vstupního adresáře vypadat takto:

tasks/
├── m01
│   ├── alpha.log.gz
│   └── bravo.log.gz
└── m02
    ├── alpha.log.gz
    ├── bravo.log.gz
    └── charlie.log.gz

A obsah souboru tasks/m01/alpha.log.gz může být po dekompresi následující (připomeňme, že nás zajímají pouze řádky pass/fail):

pass Test one
fail Test two
  Extra information about failure.
fail Test three

Data pro náš příklad lze stáhnout (včetně předpokládaného výstupu) z repozitáře s příklady.

Očekáváme, že pak bude vygenerován tento index.md:

# My tournament

 1. bravo (5 points)
 2. alpha (3 points)
 3. charlie (1 points)

A pro každý tým speciální stránka jako je tato:

# Team alpha

+--------------------+--------+--------+--------------------------------------+
| Task               | Passed | Failed | Links                                |
+--------------------+--------+--------+--------------------------------------+
| m01                |      1 |      2 | [Complete log](m01.log).             |
| m02                |      2 |      0 | [Complete log](m02.log).             |
+--------------------+--------+--------+--------------------------------------+

Výstupní adresář bude pak obsahovat následující soubory:

out/
├── index.md
├── team-alpha
│   ├── index.md
│   ├── m01.log
│   └── m02.log
├── team-bravo
│   ├── index.md
│   ├── m01.log
│   └── m02.log
└── team-charlie
    ├── index.md
    ├── m01.log
    └── m02.log

Váš skript musí přijímat argument -o pro předání názvu výstupního adresáře a -t pro zadání alternativního názvu index stránky (místo výchozího My tournament). Váš nástroj musí přijmout obě varianty volání -odirname a -o dirname pro oba argumenty.

Můžete s klidem předpokládat, že názvy týmů a úkolů budou pouze platné C identifikátory (tj. pouze anglická abeceda a čísla bez speciálních znaků). Můžete dále předpokládat, že se názvy úkolů atd. vejdou do výše uvedené tabulky (pokud jde o šířku sloupců).

Očekává se, že budete používat dočasné soubory pro ukládání průběžných výsledků a že úlohu vyřešíte kompletně v shellu.

Nemůžete použít AWK, PERL, Python ani žádný jiný další jazyk; použití sedu je povoleno (ale pravděpodobně není nutné). Nesmíte použít žádné pokročilé funkce jazyka Bash, jako jsou (asociativní) pole nebo konstrukce [[ a (( (použití $(( )), $( ) a test(1) je však povoleno). Jinými slovy, očekáváme, že implementaci budete řešit pomocí konstrukcí a programů, které jste viděli během cvičení (a úloha je taková, že byste ji měli být schopni napsat sami bez cizí pomoci).

Očekáváme, že k odstartování své implementace použijete externí nástroje, ale před odevzdáním musíte rozumět celému skriptu a musíte označit všechny části, které jste osobně nenapsali (a pokud používáte nástroje, jako je ChatGPT, musíte odeslat celý protokol komunikace s tímto nástrojem).

Abychom úlohu přijali, musí být vyřešeny všechny problémy nahlášené Shellcheckem.

Rozšíření

Zkontrolujte, zda existuje soubor config.rc, a načtěte jej: může přepsat název (title) celého turnaje a výstupní (output) adresář (místo výchozího out).

Pokud například soubor config.rc obsahuje následující řádky, pak název v souboru index.md nejvyšší úrovně bude znít # NSWI177 Tournament a vygenerované soubory budou uloženy v adresáři output_md/.

title="NSWI177 Tournament"
output="output_md/"

Tyto hodnoty mohou být stále přepsány přepínači na příkazovém řádku (tj. pořadí je výchozí hodnota pevně zakódovaná ve skriptu, hodnoty v config.rc a přepínače -o a -t).

V každém podadresáři task/* zkontrolujte, zda soubor meta.rc (pokud existuje) neobsahuje řádek name="..", který může obsahovat jiný název úlohy než název adresáře. Tento název bude pak použit ve výše uvedené tabulce. Název nebude používat žádné speciální znaky kromě mezery a pomlčky.

Očekává se, že soubory .rc budou zdrojové soubory shellu a budou obsahovat platné shellové konstrukce. Musíte však zkontrolovat, zda soubor vůbec existuje.

Odevzdání a hodnocení

Odevzdejte svá řešení do podadresáře exam/t04 v repozitáři pro NSWI177.

Skript uložte do souboru exam/t04/tournament.sh (a nerozdělujte jej do více souborů). Při kopírování fragmentů ze stránek, jako je StackOverflow, očekáváme, že je okomentujete přímo v souboru tournament.sh. Komunikaci se stránkami řízenými umělou inteligencí uložte do souboru ai.log (textový soubor s jasně označenými částmi s vašimi vstupy a s odpověďmi).

Pokud vytvoříte další testovací sady dat, neváhejte je uložit do podadresáře demo (podobně jako naše vstupy, tj. např. demo/one/tasks a demo/one/output s očekávaným výstupem).

Poskytujeme pouze základní automatizované testy: můžete si je ale sami rozšířit. Všimněte si, že diff lze použít s -r k porovnání celých podstromů adresářů, což se může hodit při porovnávání vygenerovaného výstupu s tím očekávaným.

Známkování úlohy je pouze uspěl/neuspěl (resp. uspěl s rozšířením). Při hodnocení vaší implementace zkontrolujeme, zda funguje na základních datech a poté zkontrolujeme kvalitu vašeho skriptu kombinací automatických i ručních kontrol. To bude zahrnovat kontroly, zda skript po sobě odstraňuje dočasné soubory, zda náhodně neodstraňuje existující soubory atd. U kvality se podíváme na názvy proměnných, komentáře celkové struktury nebo rozklad na funkce. Implementace vyhoví, pokud je množství těchto problémů v rozumných mezích.

Záměrně neuvádíme vyčerpávající checklist, protože by to vedlo k optimalizaci proti seznamu namísto přemýšlení, jak napsat rozumnou implementaci.

Termín odevzdání je 2024-05-05.