Brainstorm about legal document similarity methods

See index AI and law for an overview of relevant papers. This note is just to collect some thoughts on possible strategies / experiments for research on legal document similarity.

From Nanda et al. (2019):

In the future work, we intend to utilize legal concept recognition systems (Nanda et al. 2017b), word-sense disambiguation, as well as shallow semantic representations based on flat reification-based approaches (Robaldo 2010, 2011; Robaldo and Sun 2017), to develop text similarity models for identifying transpositions. It would also be interesting to study the influence of other linguistic and legal features for the supervised classifiers, as well as devising hybrid (rule-based and statistical) approaches by integrating rule-based systems such as Robaldo et al. (2011). (223)

  • Experimentation with more legal features to be used as feature vectors e.g. in SVMs
  • Hybrid: combine rule-based and statistical approaches

    • See Robaldo L, Caselli T, Russo I, Grella M (2011) From Italian text to timeml document via dependency parsing. In: Computational linguistics and intelligent text processing—12th international conference, CICLing 2011, Tokyo, Japan, 2011, pp 177–187
  • Before applying text similarity methods, isolate/mine the meaningful aspects of a legal case, build feature vectors out of those, and then use those.

From Mandal et al. (2017) :

Among the different possible representations of a legal document, we consider (i) the whole document, (ii) the set of paragraphs of the document, (iii) summaries of the document, and (iv) the set of RFCs (the text surrounding a citation) in the document. These representations are attempts to separate out the meaningful / important units of the document. (2)

  • TODO interpretability in SVMs
    • Visual projections
    • Using interpretable kernels?
    • Counterfactuals and prototypes using SVMs?
    • Compute attribution of each feature for a single prediction (as opposed to feature importance in general?)
    • Does it matter if the features of the feature vector are meaningful?

Samenvatting & uitwerking besproken ideeën 26 Augustus 2021

  • Wat kunnen we in afwezigheid van labels?
  • Handmatig labels maken te tijdsintensief
  • We kunnen wél proberen informatie uit cases te extraheren en die eventueel als label gebruiken in een semi-supervised manner
  • Uitwerken: welke informatie is nuttig?
    • Check eerst beschikbare metadata: https://www.rechtspraak.nl/SiteCollectionDocuments/Technische-documentatie-Open-Data-van-de-Rechtspraak.pdf#search=xml
    • Uitkomst case
    • Relevante "feiten"

Idee: semi-supervised aanpak

Als "XML" van rechtspraak.nl bijv. beschrijving van "feiten" heeft, kan ik vanuit daar dan niet eerst een classifier ontwikkelen die de feiten van een casus identificeert/classificeert?

Je kan de performance van die classifier evalueren als de dataset idd een beschrijving van de "feiten" heeft. Je hebt dan een multi-class classifier waar elke output class een feit heeft. Dit zou als een soort "lichtgewicht" ontologie kunnen functioneren.

Alternatief: kunnen we een thesaurus uitbuiten, of misschien keywords waarmee de zaken getagged zijn?

Die classifier zou misschien het beste werken op paragraaf niveau (of zelfs op zinsniveau?), aangezien een casus meerdere patronen kan addresseren.

Als performance OK is, zou je die classifier kunnen gebruiken voor het automatisch labelen van feiten.

Je zou dan naast de inhoudelijke vergelijking op basis van embeddings verder onderscheid kunnen maken in de "feiten" (en andere categorieën) die besproken worden; en dit als uitgangspunt van een uitleg nemen.

Alternatief: als zaken met keywords of beschrijving van feiten getagged zijn; kunnen we dan een manier ontwikkelen om te gevormde clusters te identificeren met één van die labels? Bijv. idee: zodra we een classifier hebben die "feiten" o.i.d. kan classificeren, kunnen we die gebruiken om gevonden clusters te labellen? Misschien op basis van de top-n TF-IDF termen uit die cluster een "feit/label" toewijzen?

Mocht zoiets lukken, dan kun je dit ook als een vorm van ontologie creatie zien. Die ontologie zou dan met de hand geevalueerd moeten worden.

TODO: idealiter zou het ook mooi zijn hier dan weer een onzekerheids indicatie bij te geven! Hoe zeker zijn we dat de labels correct zijn?

Uitleg toegespits op rol

Idee: differentieer welke documenten relevant zijn voor verschillende rollen: aanklager vs. verdediging; of de drie rollen van TNO: consulent, researcher, subject (waren dat de goede?).

Kan ik dit idee uitwerken a.d.h.v. een classifier? Bij aanklager vs. verdediging moet ik kunnen differentiëren wat bijdraagt aan wins of verlies. Op deze manier zou ik dus werk voor het voorspelling van case uitkomst kunnen meenemen! Ik zou de word embeddings kunnen hergebruiken voor deze classificatie!

Sterker nog, kan ik niet meer van dit soort type factoren met word embeddings voorspellen?

  1. Per case in een cluster, bepaal een aantal juridisch relevante factoren om zaken binnen dezelfde cluster te onderscheiden
  2. Iets soortgelijks om een betere beschrijving van de hele cluster te geven.

Mogelijke structuur project:

  1. Extraheren juridisch relevante informatie
    • TODO Uitwerken welke. Zoals... uitkomst case
    • Doel is hybride aanpak naast ML pipeline op semantische inhoud
    • Ook: differentiëren informatiebehoefte; relevant is anders voor aanklager dan voor verdediging
  2. Uitwerken hybride aanpak: hoe combineer je de resultaten van gemined legale inhoud en uitkomsten ML pipeline
  3. Aanzet hoe deze factoren gebruikt kunnen worden in uitleg
  4. Evaluatie
    • Idealiter vergelijking met huidige FATE performance
    • Hoe wordt FATE momenteel geëvalueerd?