TU Wien:Advanced Information Retrieval VU (Rauber)

Daten

Zuordnungen

Masterstudium Data Science	Modul VAST/CO - Visual Analytics and Semantic Technologies - Core
Masterstudium Business Informatics	Modul DA/EXT - Data Analytics Extension (Gebundenes Wahlfach)
Masterstudium Visual Computing	Modul Media Understanding (Gebundenes Wahlfach)
Masterstudium Media and Human-Centered Computing	Modul Media Understanding
Masterstudium Software Engineering & Internet Computing	Modul Informationssysteme (Gebundenes Wahlfach)

Inhalt

Kurze Einführung in Grundlagen des Information retrievals (Inverted Index, Scoring methods), NLP, Word embeddings, Neural IR, music information retrieval

Ablauf

SS20:

9 Vorlesungen:

1. Vorbesprechung
2. Crash Course: Fundamentals (Wiederholung Grundlagen IR, z.B. Indexing, Ranked Retrieval)
3. Crash Course: Evaluation (Wiederholung Grundlagen IR, z.B. IR Metrics)
4. Data Aquisition (Wie werden Datensets für Supervised Learning und Evaluation erstellt?)
5. Word Representation Learning (Repräsentation von Wörtern als Vektoren, Word2Vec, Query Expansion)
6. Sequence Modelling in NLP (Wie und warum werden CNNs und RNNs in NLP eingesetzt?)
7. Introduction to Neural Re-Ranking
8. Transformer Contextualization and Re-Ranking
9. Neural Methods for Indexing

Zwei Übungsaufgaben (siehe unten), wobei die zweite in 3er-Teams zu lösen ist.

2 mögliche Prüfungstermine, einer Ende Mai und einer Mitte Juni.

Davor: ca. 8 Vorlesungen. Drei Übungsaufgaben welche in Teams von drei Studierenden zu lösen sind. Ein Abgabegespräch für die ersten zwei Übungen. VO Prüfung

Benötigte/Empfehlenswerte Vorkenntnisse

Grundlagen des IR ist empfehlenswert, aber kein muss. Programmierkenntnisse (!), Erfahrung mit pytorch von Vorteil, aber kein muss.

Andere Meinung (SS20): Die Überschneidungen mit Grundlagen des IR sind ziemlich gering. Viel wichtiger sind Kenntnisse über Deep Learning, also Neural Networks, Model Training, Gradient Descent, CNNs, RNNs, Pooling, Softmax, ReLU, LSTMs, Attention, Self-Attention, Transformers, etc. und deren Anwendung mittels entsprechender Python-Libraries. Wem hier die Grundlagen fehlen, sollte einige Stunden an Einarbeitungszeit einplanen, da das entsprechende Wissen weitestgehend vorausgesetzt wird.

Vortrag

Hängt vom Vortragenden ab, aber grundsätzlich gut, insb. der Vortrag von Hofstätter

Übungen

SS20:

1. Übung: Creation of a test collection (10 Pkte, alleine): Es mussten 500 Query-Document pairs mithilfe einer Web-Applikation annotated werden. Die dabei enstandenen Relevanzlables wurden dann als Dataset für die 2. Übung verwendet. Aufwand pro 100 Annotations war ca. 1 Stunde. Darüber hinaus konnte weiter annotated werden, um Bonuspunkte zu sammeln.
2. Übung: Neural IR (50 Pkte, 3er-Gruppen): Implementation, Training und Evaluation von drei Neural IR Re-ranking models (Match Pyramid, KNRM, Conv-KNRM) mithilfe von PyTorch und AllenNLP. Dazu wurde ein Git-Repo mit boilerplate bereitgestellt. Das Training konnte entweder lokal oder via Google Colab durchgeführt werden.

Davor:

1. Übung: Invertend Index und scoring methods
2. Übung: Neural IR
3. Übung: Music IR

Prüfung, Benotung

Prüfung im SS19: Gegeben war ein Paper zu einem aktuellen Thema aus Neural IR, zu dem Paper mussten Fragen beantwortet werden. Nicht allzu schwer, etwas Hintergrundwissen sollte man aber haben.

Prüfung im SS23:

Prüfungsmodus: 1/3 der Fragen bezogen sich rein auf die Folien 1/3 der Fragen bezogen sich rein auf das Paper 1/3 der Fragen bezogen sich auf die Folien und das Paper

Mehrere Blöcke und man musste ankreuzen, welche Aussagen stimmen.

Fragen zu den Folien: Fragen waren nicht sehr technisch (die Berechnungen von nDCG oder Formeln und welcher Vektor mit welcher Matrix multipliziert wird, wurde nicht gefragt), es war wichtiger die Anwendungen zu verstehen. (Beispiele waren: Recall and nDCG are typically measured at a lower cutoff than MAP and MRR (falsch), Judgement pairs should use pooling of many diverse system results (richtig)) Summary per Foliensatz anschauen! (genau solche Aussagen werden herangezogen und müssen dann mit richtig / falsch bewertet werden)

Fragen zum Paper: Je besser man das Paper verstanden hat, um so leichter ist es - auch die Grafiken gut anschauen und verstehen.

Fragen zu Folien und Paper: Waren quasi Fragen (bzw Aussagen die mit richtig / falsch zu berwerten sind), wo man ein Detail aus dem Paper und eines aus den Folien wissen musste. (Beispiele waren: The in the paper proposed system does ... and so does the model XY, that we know from the lecture)

Prüfungsergebnisse waren schon wenige Stunden danach verfügbar, weil die Bögen automatisch ausgewertet wurden.

Dauer der Zeugnisausstellung

noch offen

Zeitaufwand

SS19: Die Übungen sind nicht zu unterschätzen! Falls man Grundlagen des IR nicht gemacht hat kann auch das erste Beispiel etwas Zeit kosten. Übung zwei kostet viel Zeit (früh anfangen!). Übung drei war im SS19 ebenfalls nicht zu unterschätzen.

Insgesamt bleibt der Aufwand aber im Rahmen der 3ECTS.

Unterlagen

noch offen

• Materialien

Tipps

• Übungen nicht unterschätzen. VO ist kein Muss aber sicher kein Fehler.
• Depending on your knowledge of the involved things (e.g. python, pytorch, how to train a DL model, etc.), start early to pick up the required things. Talk to others (groups) about their approaches, look for existing implementations (or versions) online. Starting from scratch only using the papers was not really possible (for me / group), so look for reference implementations. Check who in your group has which skills / knowledge and try to distribute the work accordingly.

Highlights / Lob

noch offen

Verbesserungsvorschläge / Kritik

noch offen

Materialien

Neues Material hinzufügen

S

• Sueszli's summary + altprüfungen (details)