Op en in het web: Hoe de toegankelijkheid van rechterlijke uitspraken kan worden verbeterd | Van Opijnen, M.
Proefschrift over de informatievoorziening van jurisprudentie in Nederland, 626 pagina's.
De vroegere hoofdstukken schetsen uitgebreid de juridische context alsook de historische ontwikkeling van informatiesystemen voor jurisprudentie in Nederland.
Ik lees dit proefschrift diagonaal vanuit een interesse voor wat door de juridische gemeenschap als relevant word ervaren.
Hoofdstuk 5: Selectie en relevantie
Het vraagstuk van relevantie wordt op twee manieren aangesneden.
- Er wordt een selectie gemaakt (o.a. door redacteuren van tijdschriften of door rechtbanken zelf) in welke zaken interessant en relevant zijn en daardoor publicabel
- Wat zijn de criteria voor die selectie?
- Wat betekent "relevant" precies?
De selectie moet "representatief" zijn, maar dat betekent in de praktijk zeker niet dat die een statistische afspiegeling is van de praktijk. Aangezien de meeste gevallen in de praktijk doorsnee en oninteressant zijn, worden deze vaak juist niet gepubliceerd. Een spanning die hierdoor ontstaat is dat de gepubliceerde "interessante" gevallen zo bezien juist niet representatief zijn voor de alledaagse zaken. Dit zou dan ook een brede toegang tot jurisprudentie in de weg kunnen staan. Meer alledaagse zaken publiceren heeft echter weer als nadeel dat je dan veel soortgelijke of onnuttige informatie vermeerdert zonder meerwaarde.
Quote van Snijders op p. 330 is een pleidooi voor selectie van meer alledaagse zaken.
Selectiecriteria
Samenvatting van de selectiecriteria die worden gehanteerd door verscheidene
Ik focus even op informatie over de selectiecriteria van rechtspraak.nl omdat ik waarschijnlijk met deze data wil gaan werken. Zie p. 335.
- Art. 3. Specifieke kamers van bepaalde gerechten worden inbegrepen tenzij aan een van de negatieve criteria wordt voldaan
- Art. 4 varia objectieve criteria
- lid 1 m.b.t. grondslag procedure & expliciete beslissing van rechter over openbaarmaking
- lid 2 sub a : aard van gevoerde verweer en reactie van rechter daarop
- lid 2 sub b: voorgaande publicatie in dezelfde rechtsgang
- lid 2 sub c: aard van ten laste gelegde delict; sub d ... van de straf
- lid 2 sub e: bepaling dat wrakingsprocedures moeten worden gepubliceerd
- Art. 5: varia subjectieve criteria
- externe belangstelling vanuit media en juridische vakpers
- mogelijk belang voor anderen
- juridisch belang van de uitspraak
- Art. 6 objectieve negatieve criteria
Selectiebeslissingen van rechtspraak.nl worden door de gerechten zelf genomen.
In het oude tijdschrift model werd een strenge selectie doorgevoerd en was bijna alles leeswaardig. Nu er steeds meer (digitale) publicatiemogelijkheden zijn, verschuift de selectie druk ook van de "input"-zijde (selectie door tijdschriften of het gerecht) naar de "output"-zijde (de lezer wil en moet steeds meer zelf bepalen wat relevant is voor hem of haar).
Voorspelling (p. 339) is dan ook dat nadruk steeds meer op negatieve selectiecriteria zal gaan liggen. Een casus wordt gepubliceerd tenzij ... Dit betekent dat het relevantievraagstuk als een information retrievial probleem geformuleerd kan worden.
Inherent aan de erkenning dat selectie meer als een gebruikersprobleem en minder als een redactioneel probleem moet worden benaderd, is het loslaten van het dichotoom axioma waarop de selectie discussie is gebaseerd. Voor een redactie is de vraag ‘publiceren of niet’, maar voor een gebruiker is de vraag ‘meer of minder relevant’? Dat is geen booleaanse keuze, maar een glijdende schaal, die bovendien voor iedere gebruiker anders kan liggen. Derhalve moeten we de aandacht verleggen van de inputzijde naar de outputzijde: welke – voor hem relevante – selectie uit het totale bestand kan de gebruiker verkrijgen? Daarmee wordt het selectie vraagstuk een relevantievraagstuk dat we kennen uit de wereld van zoekmachines en information retrieval. Daarop zullen we de aandacht dan ook nu gaan richten. (339)
Relevantie
Theoretisch kader
Hoofdlijnen van Saracevic (zie p. 340):
- Aard: Wat is relevantie?
- Manifestatie: Wat voor verschijningsvormen heeft relevantie?
-
- Systeem- of algoritmische relevantie: relatie tussen query en documenten (bijv. match op woord)
-
- Onderwerpsrelevantie: relatie tussen zoekonderwerp en onderwerp van een document
-
- Cognitieve relevantie of toepasselijkheid (pertinence): sluit de gevonden informatie aan bij de (subjectieve) informatiebehoefte van de zoeker?
-
- Situationele relevantie/bruikbaarheid: helpt de gevonden informatie het achterliggende probleem op te lossen?
-
- Affectieve relevantie: relatie tussen intenties, doelen en motivaties van een gebruiker en de gevonden documenten.
- Relevantie op één punt impliceert niet relevantie op andere punten. Bijv. een match op basis van termen (1) garandeert niet dat het onderwerp relevant is (2). Zo kun je ook een relevant onderwerp vinden (2) dat echter niet relevant is omdat de gebruiker het artikel al eerder heeft gevonden (3); of de zoekvraag was verkeerd voor de informatiebehoefte.
-
- Gedrag: Relevantie binnen het zoekgedrag van gebruikers
- Effecten: Hoe kan relevantie effectief worden geoperationaliseerd?
Definitie van Saracevic (1996):
As a cognitive notion relevance involves an interactive, dynamic establishment of a relation by inference, with intentions toward a context. (p. 340)
TODO opzoeken referentie Saracevic 1996
Van Opijnen sluit aan bij een kritiek van Cosijn en Ingwersen die stelt dat affectieve relevantie een vijfde hoofdpunt zou moeten zijn, als socio-cognitieve relevantie.
Cosijn en Ingwersen stellen:
Socio-cognitive relevance is measured in terms of the relation between the situation, work task or problem at hand in a given socio-cultural context and the information objects, as perceived by one or several cognitive agents. It encompasses the system, a group of individual users or agents, and the socio-organisational environment. (Cosijn en Ingwersen 2000, p. 541; cf. p. 342 in dit werk)
Van Opijnen bouwt hierop voort in uitwerken van zijn begrip van juridische domeinrelevantie:
De analyse van citaties van wetenschappelijke publicaties wordt door Cosijn en Ingwersen aangehaald als voorbeeld van socio-cognitieve relevantie, die een domeinafhankelijke kwaliteitsmaat kan bieden.1761 1762 We sluiten ons aan bij deze nuancering van Cosijn en Ingwersen op het model van Saracevic en beschouwen de domeinrelevantie als vijfde relevantiemanifestatie. We bakenen de domeinrelevantie zelfs nog iets scherper af en abstraheren geheel van de relatie met de zoekvraag, de informatiebehoefte of het gebruikers probleem. Voor ons ziet domeinrelevantie dan uitsluitend op de mate waarin een document door domeinspecialisten belangrijk wordt gevonden binnen het desbetreffende kennisdomein. (342)
Relevantiemanifestaties (en hoe die in computers te ondersteunen )
Interessante sectie met wat concretere aanwijzingen. Doel is het theoretisch kader vertalen naar concrete hulpmiddelen voor het vinden van relevante juridische informatie.
- Systeemrelevantie
- E.g. stemming moet werken voor juridische termen
- Onderwerpsrelevantie
- Taxonomy van juridische aard (maar niet elke taxonomie werkt ook voor classificatie van rechterlijke uitspraken)
- Spanning: meer lemmata, moeilijkere classificatie
- Handmatig vs. automatisch onderwerp toewijzen
- Cognitieve relevantie
- Thesaurus met synoniemen en gerelateerde begrippen kan helpen een zoeker de zoekvragen meer toe te spitsen op diens informatiebehoefte
- Situationele relevantie
- Bied ook metadata aan, zoals samenvattingen, toelichtingen, formele en materiële relaties (bijv. een citatie index)
- "diffuus" verschil met punt 3, aangezien het systeem zelf blind is voor context
- Domeinrelevantie
- Wat is de jurisprudentiële waarde van een uitspraak
- Staat los van specifieke query en dus ook van 2 en 3
- Wel een verband met 4, aangezien het zo kan zijn dat iets alleen situationeel relevant is als het stuk hoge juridische waarde heeft
- Het verschil is dat bij 4 een individuele gebruiker betrokken is; bij 5 niet.
TODO Mart 2010 vergelijkt LexisNexis en WestLaw. Ik vind LexisNexis interessant omdat deze blijkbaar automatisch computers documenten laten toewijzen aan een onderwerp in hun taxonomy.
Meten van relevantie
- Crowdsourcing relevance judgements
- Sociaalnetwerkanalyse + introductie
- Citatie graph
Bespreekt relevant onderzoek. Dit hoofdstuk richt zich vooral op toepassing van citatie analyse in het juridische domein.
- Onderzoek toont dat juridische citatienetwerken zich ongeveer hetzelfde gedragen als die van wetenschappelijke artikelen, i.e. ze zijn scale free netwerken waarbij een beperkt aantal nodes een grote hoeveelheid van de incoming links krijgen.
- Dat betekent ook dat veel zaken helemaal niet geciteerd worden!
- Van Opijnen merkt hierover op dat dit de intuïtie bevestigd dat veel zaken niks interessants toevoegen
- Maar is dit niet problematisch vanuit een IR perspectief? Puur op basis van citatie analyse zijn deze documenten niet bereikbaar; dus ik zou denken dat jecitatieanalyse op zijn minst wilt combineren met een andere aanpak.
- Maar op p. 356 citeert Van Opijnen onderzoek dat suggereert dat citaatanalyse betere resultaten oplevert dan een standaard zoekmachine
- Bereken importantie factor op basis van citatennetwerk
- Kun je de reden van citatie meewegen?
- Hebben citaties betrekking op een bepaald onderwerp?
- TODO Zhang en Koppaka 2007 combineren linkanalyse met semantiek; ben benieuwd hoe
- Heeft citatiefrequentie een voorspellende waarde voor uitspraken, e.g. of een voorgaande uitspraak overruled gaat worden? (Zie bodem p. 355)
Interessante observatie dat citatiestudies vooral worden gedaan voor hogere gerechtshoven:
Citatieanalyse kan worden verondersteld in zekere mate effectief te zijn voor dergelijke corpora, omdat rechtsontwikkeling en rechtseenheid voor deze gerechten een belangrijke bestaansreden vormen. Bij dergelijke uitspraken zullen de aantallen uitgaande citaties – die een uitspraak well-founded in law maken – en inkomende citaties – die een uitspraak authoritative maken – relatief hoog zijn. Gezien de meer op primaire geschilbeslechting gerichte functie van de lagere gerechten, is het aantal inkomende en uitgaande citaties bij uitspraken van lagere gerechten veel kleiner. (358)
Bovendien is bijna al het onderzoek gedaan in het common-law systeem in Amerika, waarbij citaties naar precedenten een veel prominentere rol innemen! Het is de lijn der verwachting dat citatieanalyse een veel slechtere indicatie van importantie is zodra het aantal citaten afneemt (dus in lagere gerechten of in Europees recht).
Omdat citaties daardoor waarschijnlijk minder belangrijk worden, zullen we ook op zoek gaan naar andere indicatoren voor juridisch belang. Ons doel is om uiteindelijk te komen tot een maat voor context-onafhankelijke juridische relevantie. (358)
- TODO welke andere juridische factoren zijn dat dan?
- Hoofdstuk 6 gaat over het minen van nuttige informatie van teksten
- Hoofdstuk 7 gaat over het ontwikkelen van het Model for Automated Rating of Case Law
Hoofdstuk 6: Uitspraken in context
- Hoofdstuk 6 gaat over het minen van nuttige informatie van teksten
- Zoomt in op contextualiteit (onderdeel van "hanteerbaarheid"), nl. "mogelijkheid om een uitspraak te beschouwen in relatie to andere juridische informatieobjecten" (360)
Vier relaties:
- Formele relaties, d.w.z. relatie met andere uitspraken
- Tegenwoordig onderdeel van Nova Porta Iuris
- Ook uit mijn eigen onderzoekje: aanwezig in Open Data van de Rechtbank (via rechtspraak.nl)
- Materiële relaties, cf. 6.3
- Vergelijkbaar feitencomplex
- Eenzelfde rechtsvraag
- "Met inzicht in dergelijke relaties kan de jurist bijvoorbeeld kennis vergaren over jurisprudentie lijnen." (630)
- Beschouwing van uitspraak in rechtswetenschappelijke literatuur
- Annotaties
- Plaatsen waar uitspraak aandacht krijgt: compendia, tijdschriftartikelen, handboeken
- Relatie uitspraken en wet- en regelgeving
- "Door inzichtelijk te maken welke regelgeving een rechter in zijn oordeelsvorming betrekt, zouden we alle uitspraken kunnen vergaren die betrekking hebben op een specifiek wetsartikel." (360)
6.2 Database
Info over architectuur etc. sla ik over.
Bronnen uitspraken:
- CJO via rechtspraak.nl, RO-brede databank (wat is dat?), huisdatabanken
- E-archief
- Kluwer en Sdu voor zover opgenomen in LJN-index
- rechtspraak-interne LJN-index
Literatuur:
- Van Kluwer en Sdu
- Lemmata van Wiki Juridica
Metadata:
- Vaak al in bestanden zelf, maar soms moest dit geextraheerd worden
- Rechterlijke instantie, zaaknummer, uitspraakdatum, rechtsgebied, uitgever, publicatiejaar, titel, auteur
- Tellen van lengte uitspraak: met simpel script
- Extra werk nodig voor extraheren
- Behandelende rechters
- Actualiteiten van rechtspraak.nl
Inzoomen op die laatste twee punten.
- Doel van aantal behandelende rechters weten is onderscheiden of de uitspraak is gedaan door een enkel- of meervoudige kamer
- Ik weet niet wat dat uitmaakt, maar dat zal ik hoofdstuk 7 wel blijken.
- Voor tellen van behandelende rechters werd een zeer complexe reguliere expressie geschreven (365)
- "Daarom moesten we een parser bouwen die de volgende informatie verzamelde: publicerende instantie, datum en de reikwijdte van de publicatie." (365)
- Actualiteit: "Lastiger is dat er vervolgens een onderscheid moet worden gemaakt tussen de uitspra(a)k(en) die de grondslag vorm(en) voor de actualiteit, en de uitspra(a)k(en) die om andere redenen daarin is (zijn) aangehaald" (365)
- "n het CMS is weliswaar een speciaal veld gereserveerd voor het ‘grondslagLJN’ – zodat er automatisch een hyperlink naar deze uitspraak wordt aangemaakt – maar dit veld is vaak niet of onjuist gevuld. Een meer complex algoritme maakt daarom onderscheid tussen beide soorten. In de tekst van de actualiteit worden eerst alle verwijzingen naar uitspraken gemarkeerd met behulp van de nog te bespreken ‘jurpointersoft ware’." (365)
Dat wil dus zeggen dat software is ontwikkeld om verschillende doelen voor het aanhalen van een uitspraak te onderscheiden, zie p. 366 voor beslisboom:
- Is de aangehaalde uitspraak de grondslag voor de huidige actualiteit?
- Is de aangehaalde uitspraak een (gewone) citatie?
Q: Wat betekent "actualiteit" hier precies?
TODO: zie bijlage 15 voor een mapping tussen sectoren en rechtsgebieden!
6.3 Uitspraak citaties
Onderscheid impliciete en expliciete relaties:
Materiële relaties tussen uitspraken zijn expliciet of impliciet. Ze zijn expliciet indien de ene uitspraak de andere uitspraak letterlijk citeert. Impliciete relaties komen niet in de tekst tot uitdrukking, maar bestaan alleen in de ogen van een externe beschouwer. Van een impliciete relatie is ook sprake indien de nietgeciteerde uitspraak onderdeel is van een bestendige jurisprudentielijn die bekend wordt verondersteld.1899 We beperken ons onderzoek tot expliciete materiële relaties. (368)
Citator en citandus.
Citatie-index:
Het maken van een dergelijke citatieindex is geen routineklus, want veel uitspraken in onze onderzoeks databanken hebben geen computerleesbare verwijzingen; citaties staan in de tekst zoals ze door de rechter zijn opgeschre ven. Bij de bespreking van citatievoorschriften en citatiepraktijk hebben we gezien dat er vele manieren zijn om een uitspraak te citeren: tripletten, vindplaatsen, LJN of combinaties daarvan. (368)
Citaties moeten worden gecanonicaliseerd in een consistent format. Het is me nog niet helemaal duidelijk hoe normaliseren van canonicaliseren onderscheiden is. Stappen daarvoor:
In de volgende subparagrafen zetten we de stappen van het hele linkproces uiteen. Eerst wordt met patroonherkenning gezocht naar alles wat een (deel van een) jurisprudentie citatie zou kunnen zijn (§ 6.3.3). Deze ‘citatiestrings’ worden vervolgens genormaliseerd (§ 6.3.4) en daarna gecanonicaliseerd (§ 6.3.5). We beginnen evenwel met enkele complexiteitsreducties (§ 6.3.2)
Beperkingen (& complexiteitsreducties)
Citaten in wetteksten zijn gestandardiseerd, maar...
Verwijzingen in rechterlijke uitspraken vormen echter veel meer een integraal onderdeel van de lopende tekst, die bovendien veel vormvrijer is dan regelgevingteksten. Het schier eindeloze aantal verwijzingsconstructen dat daarvan het gevolg is, levert een aantal problemen op. (370)
Problemen:
- Globale en lokale aliassen
- Roepnaam van een uitspraak
- Lokale aliassen kunnen zijn: "het arrest" (soortnaam), "het arrest van de Hoge Raad van maart 2010" (niet-compleet triplet), "de opvatting van de Hoge Raad" (hetgeen erin tot uiting wordt gebracht)
- Laatste kan ook verwijzen naar een nog eerder arrest, een verzameling van arresten, of (deels) niet-geciteerde arresten die een "jurisprudentielijn" als kennis bij de lezer veronderstellen.
- De parser herkent deze aliassen niet
- Geen onderscheid tussen aanhalingen van uitspraak, conclusie en annotatie
- Probleem is dat er geen specifieke identifiers naar conclusies en annotaties zijn
- "NJ 2010, 169" kan verwijzen naar alle drie.
- TODO: daar dus winst te halen? Conclusies minen?
Detecteren citatiestrings
Gedaan met reguliere expressies.
Vijf soorten citatiestrings met vijf soorten parsers:
- LJN identifier
- Vindplaats
- triplet-onderdelen
- instantienaam
- datum
- zaaknummer
Zie vanaf p. 172 voor de bijbehorende reguliere expressies!
Normaliseren
Normaliseren is het mappen van verschillende vormen van citatiestrings die dezelfde betekenis hebben naar hetzelfde format.
Canonicaliseren
‘Canonicaliseren’ hebben we omschreven als het converteren van verschillende identifiers naar één canonieke vorm. Dit houdt om te beginnen in dat tripletten, LJN’s en vindplaatsen moeten worden gekoppeld aan de canonieke uitspraakidentifier (CUID). (376)
- Ook ontdubbelen van meerdere identifiers in hetzelfde stuk die naar hetzelfde verwijzen
- We willen de relatie tussen citator en citandus weten: formeel, materieel, zelfreferentieel.
- Formele relatie: "relaties met een wettelijke grondslag" (377)
- zelfreferentieel: citator en citandus zijn gelijk.
- Materieel relatie: overige
- "wat voor soort identifiers zijn gebruikt, en om technische redenen willen we iedere citatie als zodanig ook uniek identificeren." (377)
- is het canonicalisatieproces succesvol doorlopen? Test.
Proces:
- Zoek eerstvoorkomende citatiestring
- Maak jurpointer element aan wanneer citatiestring gevonden is
- Voeg citatiestrings toe totdat a) er meer dan tien woorden tussen citatiestrings staan b) er een hard return is of c) er een vindplaats van een ander LJN is gevonden; dan sluit de jurpointer
- Onderzoek aard jupointer
- Vind CUID waar mogelijk
- Zelfreferentiële verwijzingen komen veel voor en worden verwijderd
- Zo nee, "dan wordt gekeken of LJN (indien aanwezig) of triplet voorkomen in de tabel met formele relaties van de CJO." (381)
- Iets wordt als formele relatie aangegeven voor bepaalde instaties van de citator en als de jurpointer in de eerste 20 regels van de tekst staan; anders materiële relatie
- "Deze regel is gebaseerd op de constatering dat de aangevallen uitspraak vrijwel altijd aan het begin van de uitspraak wordt vermeld, terwijl materiële citaties juist vrijwel nooit in die eerste twintig regels staan" (381)
Inkomende citaties vanuit rechtswetenschappelijke literatuur
- Formele relaties bestaan hier niet
- "Indien een annotatie de uitspraak aanhaalt die de grondslag vormt voor de an notatie, dan werd deze verwijzing verwijderd, omdat dit reeds een eigenstandig gegeven is, dat onder meer in de LJNindex is opgeslagen." (382)
Wetsverwijzingen
Net als het herkennen van uitspraakcitaties is ook het detecteren van wetsverwijzingen een ingewikkelde opgave, zij het deels om andere redenen. Een belangrijk verschil vloeit voort uit het feit dat in wetsverwijzingen (bijna) geen numerieke identifiers worden gebruikt. Een ander verschil zit erin dat naar uitspraken vrijwel altijd in hun geheel wordt verwezen, terwijl van regelingen vaak aan een specifiek onderdeel wordt gerefereerd, zoals een hoofdstuk of een artikel. (382)
Wetsaanhalingen:
- "verwijzingen die kunnen worden herkend met de gegevens in de OWV" (385) cf. 6.5.2.1
- Dat zijn "onderzoekswettenverzameling"
- TODO Wat is OWV ook alweer?
- Hiervoor werd een commercieel systeem gebruikt! Nl. Verity K2.
- "numerieke verwijzingen naar Europese regelgeving" (385), cf. 6.5.2.2
- detectie van lokale aliassen 6.5.2.3
- verwerking wetselementen 6.5.2.4
De commerciële software K2 vereist dus een lijst met OWV strings, waarvan de termen voor matches worden gebruikt. Voor "topics" met <= 10 karakter
Voor Europese wetgevingen wordt zelden correct geciteerd en op p. 387 staat een hele ingewikkelde regex hiervoor.
Globale aliassen zijn in OWV opgenomen en worden dus herkend. Ik snap niet hoe lokale aliassen worden gevonden: "Om dit probleem op te lossen is code geschreven die de declaratie van de lokale alias herkend, en daar op volgend gebruik ervan van een wetpointerelement voorziet." (389)
Ook is er een extra check dat bij het markeren van lokale aliassen deze niet ook naar een globaal alias verwijzen.
Herkennen wetselementen gaat via een reeks reguliere expressies.
Hoofdstuk 7: Een maat voor domeinrelevantie
Berekening MARC: Model for Automated Rating of Case Law (MARC)
Introductie MARC
Indicatie van juridische relevantie is hoeveel belang de juridische "crowd". Open vraag hoe we dat meten, maar gekozen is voor de volgende vijf indicatoren (p. 399):
- Publicatiefase
- PubJur: Publicatie in jurisprudentieperiodieken;
- PubAnno: Publicatie van een annotatie;
- Transitiefase:
- InCitConLit: Inkomende citaties uit continue literatuur;
- Citatiefase:
- InCitEenLit: Inkomende citaties uit eenmalige literatuur;
- InCitUit: Inkomende citaties uit uitspraken.
(De fases overlappen gedeelteijk dus bovenstaande samenvatting is niet helemaal accuraat, zie figuur 7-1 op p. 399)
Zie figuur 7-2 voor gebruikte variabelen in berekening van MARC.
Exogene variabelen:
- Competentieklassie: positie in rechterlijke hiërarchie
- Leeftijd uitspraak
- Rechtsgebied
- Crowdvariabelen
- Zie hierboven
Endogene variabelen:
- Verwijzingen naar regelgeving
- Omvang kamer
- Lengte uitspraak
- Uitgaande jurisprudentiecitaties
Vooral in de citatiefase gaat MARC gebruik maken van crowdvariabelen. Daarbuiten moeten andere variabelen meer nadruk krijgen.
Indicatoren citatiefase
- Differentieer verschillende bronnen als meer of minder belangrijk
- Ook verschillende a
- Overeenkomst in selectie tussen meerdere tijdschriften
- JPWF is wegingsfactor voor een periodiek
- Hoe meer inkomende citaties, hoe beter
- JPWF = sum van log (inkomende citaties) / N
- Som is over alle artikelen uit de databank per periodiek
- Waarbij alle citaties (ook naar hetzelfde artikel) worden geteld
- logaritmische schaal om effect van veel citaties te remmen (enkele uitspraken hebben verzamelen buitensporig veel citaties )
- PubJur maat (zie p. 406-407)
- PubJur = log( 1 + som JPWF )
- JPWF is in dit geval de weging van alle periodieken waarin de uitspraak voorkomt.
Annotaties
Een annotatie is een rechtsgeleerde aantekening die wordt geschreven door een specialist op het desbetreffende rechtsgebied.2001 Het feit dat een uitspraak wordt voorzien van een annotatie is een aanwijzing voor het bijzondere belang dat de uitspraak voor de rechtsontwikkeling heeft. (407)
Bespreekt twee opties die vanwege beperkte informatie niet praktisch zijn. Gekozen aanpak:
We kiezen daarom voor een derde optie, waarin we de standing van het tijdschrift gebruiken om de standing van de erin gepubliceerde annotaties te meten: we berekenen de variabele ‘PubAnno’ op basis van de JPWF-waarden die we ook gebruiken voor PubJur.2010 Wanneer we in het vervolg spreken over de PubAnno van een individuele uitspraak, dan bedoelen we hiermee dus de optelling, op een binair logaritmische schaal, van de JPWF-waarden van alle tijdschriften waarin die uitspraak is geannoteerd. (409)
Actualiteit
Uitspraken waarvoor persbelangstelling bestaat of wordt vermoed, worden op Rechtspraak.nl vaak voorzien van een ‘actualiteit’.2011 Omdat aangenomen mag worden dat er alleen persbelangstelling is voor uitspraken met grote juridische en/of maatschappelijke betekenis, kan het verschijnen van een actualiteit, naast publicatie van de uitspraak zelf, gezien worden als een zelfstandige indicator voor juridische relevantie. (409)
Citaties in uitspraken
- "Het primaire doel daarbij is om de variabele InCitUit (Inkomende Citaties uit Uitspraken) te kwantificeren." (410)
- Want inkomende citaties zijn belangrijk als weerslag van de juridische crowd opinie
- Uitgaande citaties zijn niet exogeen maar een endogene variabele en wordt later besproken
Dit verschil is moeilijk te verklaren, want al zijn in common-law-jurisdicties precedenten een formele rechtsbron, in landen met een civil-law-traditie – zoals Nederland – heeft jurisprudentie materieel een vergelijkbare functie. (410)
Door de interpretatie en toepassing van deze jurisprudentie, gaat de rechter rechtsvormend te werk. (411)
Verschillende interessante hypothesen:
- "Daarbij zal in z’n algemeenheid gelden dat hoe meer jurisprudentie de rechter aanhaalt, des te ingewikkelder de rechtsvraag, en hoe belangwekkender het uiteindelijke oordeel." (411)
- "Omgekeerd kunnen we de hypothese opstellen dat hoe vaker een uitspraak door andere
uitspraken wordt geciteerd, hoe juridisch relevanter deze zal zijn." (411)
- Waarom is dat omgekeerd?
- "Daarnaast zouden we kunnen veronderstellen dat het belang van inkomende en uitgaande citaties niet alleen kan worden gemeten in aantallen, maar dat ook het gewicht van de aangehaalde en aanhalende uitspraken een factor van betekenis is." (411)
Citaties hebben verscheidene attributen die relevant zijn:
Citatiegrondslag
- Citatiegrondslag: waarom wordt de uitspraak aangehaald?
- Formeel: uitspraak in hoger beroep haalt uitspraak in eerste aanlag aan
- Formele relaties zijn eruit gefilterd omdat ze niet van belang zijn voor juridische relevantie
- Materiële redenen kunnen juist zeer divers zijn!
- "Het kan geschieden ter schraging van de gevolgde redenering, om aan te geven dat de aangehaalde uitspraak juist niet van toepassing is op de onderhavige casuïstiek, om een uitgezette jurisprudentielijn te herroepen of te nuanceren" (411)
- Welke reden kan impact hebben op relevantie! "doorbreking van een bestaande jurisprudentie lijn zal belangrijker zijn dan de bevestiging ervan." (412)
Idealiter zou je dus specifiek materiële relaties verder willen classificeren, omdat verschillende typen relaties in verschillende mate juridische relevantie aantonen. MAAR:
Terwijl het maken van onderscheid tussen formele en materiële relaties relatief eenvoudig is, is het maken van een typologie voor materiële verwijzingen, alsmede – vooral – het classificeren van de individuele citaties in een uitspraaktekst, uitermate ingewikkeld. Voor dat laatste is ofwel een menselijke (en daarmee subjectieve) beoordeling nodig, ofwel zeer geavanceerde tekstanalysesoftware. (411)
Dat laatste is precies iets wat AI eventueel zou kunnen doen.
Onderzoeksidee:
Wat betreft citatiegrondslag is het dus heel interessant om te weten of er tegenspraak is tussen uitspraken! Je zou dit ook kunnen meenemen in het toespitsen van relevantie op een bepaalde zoekersrol: Stel je wilt vergelijkbare uitspraken vinden. Dan is het niet alleen handing om documenten te vinden die relevante zaken bespreken; maar ook om documenten te krijgen die voor of tegen posities innemen m.b.t. een bepaald onderwerp. Dit zou helpen gerichter te zoeken, niet alleen naar uitspraken die de zaak ondersteunen, maar ook naar mogelijke tegenargumenten. Mogelijk helpt dit ook relevantie beter te specificeren m.b.t. een specifieke rol. Bijv. de aanval en verdediging hebben tegengestelde belangen.
D.w.z. welke zaken hebben een soortgelijk onderwerp maar tegengestelde conclusies? Het vinden van het gemeenschappelijke onderwerp en het minen van de conclusie is dan technisch werk voor dit onderzoek. Dit werk kan ook het uitleggen van de relevantie van de resultaten beter ondersteunen!
Maakt de plek van citatie uit? Bijv. in dictum (slotsom van de uitspraak met het eigenlijke oordeel) Het vinden van het dictum is weer een taak op zichzelf. Segmentatie?
Hoeveelheid citaties
Als uitspraak A tienmaal uitspraak B aanhaalt, doch slechts eenmaal uitspraak C, dan mogen we veronderstellen dat – althans vanuit het perspectief van uitspraak A – uitspraak B belangrijker is dan uitspraak C. (411)
Hiërarchische positie van citator en citandus
Zo zou men kunnen veronderstellen dat, ceteris paribus, aan een rechtbankuitspraak die door de Hoge Raad worden aangehaald, een zwaarder gewicht mag worden toegekend dan aan het Hoge Raadarrest dat in een rechtbankvonnis wordt aangehaald. Alhoewel we in ons onderzoek wel rekening houden met de positie van de rechtsprekende instantie binnen de rechterlijke hiërarchie, houden we – om redenen van complexiteitsbeperking – geen rekening met het verschil in hiërarchische positie tussen citator en citandus. (413)
Locatie citatie
In welk deel van de citerende uitspraak staat de citatie?
Bijv. in de rechtsoverwegingen of het dictum?
dictum: het deel van een vonnis dat de eigenlijke uitspraak inhoudt.
Leeftijdsverschil citator en citandus
In een individuele citatie zal deze meestal niet relevant zijn, maar wel in de totale verzameling van inkomende citaties van één enkele uitspraak: raakt de uitspraak in de vergetelheid, of wordt deze ook na decennia nog steeds geciteerd? (412)
Dit zou dus een temporele analyse van de juridische relevantie van een stuk ondersteunen.
Wat je wilt meten is niet de absolute leeftijd, maar de continuïteit in citaten, d.w.z. een indicatie dat een stuk over tijd relevant blijft. Je wilt dus 50 citaties over de afgelopen 10 jaar meer belonen dan 50 citaties direct na publicatie, 10 jaar geleden.
Netwerk analyse
Skipped. Resultaten.
Citaties in literatuur
Skipped.
Competentieklasse
Recall: "In common-law-landen bestaat het rechtsbeginsel van stare decisis, op grond waarvan lagere rechters verplicht zijn om eerdere rechtspraak van hogere gerechten te volgen." (428)
Daarentegen:
"In civil-law-landen, zoals Nederland, zou een dergelijke regel een schending inhouden van het rechts beginsel dat alleen de wetgever algemeen verbindende regels mag stellen. Desalniettemin kijken lagere gerechten bij interpretatieve vraagstukken altijd naar precedenten van hogere gerechten, niet alleen om invulling te geven aan de beginselen van rechtszekerheid en rechtsgelijkheid, maar ook op grond van de praktische overweging dat afwijking van hogere jurisprudentie in beroep vrijwel zeker tot vernietiging zal leiden." (428-429)
Versimpelde hiërarchie:
- eerste aanleg
- appel
- hoogste aanleg
Even dubbel checken, maar ik geloof dat rechtspraak.nl eerste en tweede aanleg als categorieën onderscheidt.
Overzicht:
Voor de Nederlandse rechterlijke instanties maken we een onderscheid in drie competentieklassen: eerste aanleg, appel en hoogste aanleg. Voor de meeste zaken zijn de rechtbanken in eerste aanleg bevoegd. Van de meeste uitspraken in civiele, straf- en belasting zaken kan appel worden aangetekend bij de gerechtshoven, en in cassatie bij de Hoge Raad. Inzake ambtenarenrecht en sociaal-zekerheids recht is de CRvB de appelinstantie, maar tevens de hoogste instantie. Hetzelfde geldt inzake sociaaleconomisch bestuursrecht voor het CBb en inzake het algemeen bestuursrecht voor de AB RvS. Alhoewel er tal van uitzonderingen bestaan op deze algemene regel,houden we hiermee in ons onderzoek geen rekening.2093 Dat doen we niet alleen uit een oogpunt van complexiteits reductie, maar ook omdat informatie over de exacte procedure die aan een uitspraak ten grondslag heeft gelegen – en daarmee informatie over de relevante competentie vraagstukken – vrijwel niet (geautomatiseerd) uit een uitspraak is te distilleren. (429)
Er zijn verder wat keuzes gemaakt van voormalige gerechten uit de database en gerechten uit het Caribische deel van het Koninkrijk. Zie einde p. 429 begin p. 430
Leeftijd
Skipped
Rechtsgebied
In veel uitspraken is – bijvoorbeeld door de aanduiding van de behandelende kamer – aangegeven over welk rechtsterrein de uitspraak gaat. In dat opzicht zouden we het rechtsgebied kunnen opvatten als een endogene variabele, want blijkend uit de uitspraak zelf. Een eenduidige rechtsgebieden typologie is evenwel niet in de wet gegeven; de wijze waarop een gerecht zijn sectoren en kamers indeelt is in hoge mate vrij. Bovendien zijn er grote verschillen in de manier waarop rechtsgebieden zijn getypeerd in de metadata van de gebruikte uitsprakencollecties. We hebben daarom gekozen voor een basale indeling in drie rechtsgebieden – strafrecht, civiel recht en bestuursrecht – en hebben de bestaande metadata daarop gemapt. 431
Model en regressor
Regressie model: regressor is het gewone gemiddelde tussen de fractie inkomende citaties uit uitspraken en "eenmalige literatuur" over een driejaarsperiode.
D.w.z. het regressiemodel in de citatiefase voorspelt juridische relevante in termen van hoe vaak we verwachten dat een uitspraak geciteerd gaat worden.
Regressie met 8 predictors en 1 regressor wordt gedaan met het Generalized Linear Model / gegeneraliseerde lineaire/non-lineaire model.
- Berekening aandeel van subsets van predictors op variantie in regressor.
- Welke kunnen het best worden weggelaten? (ablation study?)
- InCitUit-GVG is belangrijkste predictor
MARC-indicator voor publicatiefase
- Aantal behandelende rechters
- "De toewijzing van zaken aan meervoudige of enkelvoudige kamers gebeurt op basis van de zwaarte van een zaak, die door verschillende soorten van criteria wordt bepaald. De relevante bepalingen behandelen we hier niet uitputtend; we beperken ons tot enkele voorbeelden." (438)
- Uitspraak met vijf rechters is sterke indicatie van nieuwe ingewikkelde kwestie en is dus bijv. voor rechtspraak.nl altijd publicabel
- Met drie rechters zijn er doorgaans geen bijzondere omstandigheden, maar is het zo dat de zaak nog steeds meerdere rechters vereist bijv. door de hoogte van financiële verordeningen
- Merk op dat drie rechters voor de rechtbank heel hoog is, maar voor de Hoge Raad heel weinig -> Gebruik dus ordinale schaal
- Lengte van de uitspraak
- "Toch kan als algemene hypothese worden opgeworpen dat standaard zaken worden afgedaan met korte (en vaak vaste) formuleringen. Niet-standaardzaken vergen meer woorden: om een ingewikkeld feiten complex te beschrijven, om bewijs te waarderen, om ingebrachte verweren inhoudelijk te beoordelen of om de beslissing anderszins inhoudelijk te motiveren. We kunnen dus een relatie verwachten tussen de lengte van een uitspraak (met inbegrip van een eventuele conclusie) en de juridische relevantie ervan." (440)
- Deel in lengte categorieën in
- Gepubliceerde stukken lijken bijna altijd langer dan ongepubliceerde stukken, wat suggereert dat lengte idd een maat voor juridische relevantie is
- Aan de andere kant zijn stukken uit eerste aanleg blijkbaar gemiddeld korter (dus dat is een mogelijk tegengesteld effect)
- Uitgaande verwijzingen jurisprudentie
- Uitgaande verwijzingen naar wet- en regelgeving
- "De wets verwijzing vertoont grote overeenkomsten met de uitspraakcitatie, maar een belangrijk verschil zit in de eenzijdigheid van de relatie: een uitspraak kan een wet aanhalen, maar een wet zal nooit een uitspraak citeren." (444)
- "Generaliserend kunnen we stellen dat de rechter met een wetsverwijzing, net als met een uitspraakcitatie, verwijst naar een rechtsbron waarvan de toepasselijkheid kennelijk niet zo evident is dat aanhaling achterwege kan worden gelaten. Een veelheid aan wets verwijzingen zou dus kunnen duiden op complexiteit van materie en – ergo – op mogelijk juridisch belang van de uitspraak. Hier past evenwel een kanttekening. Veel wetsverwijzingen hebben een min of meer procedurele functie, bijvoorbeeld bij het uitspreken van een proces kosten- veroordeling of om partijen te wijzen op beroepsmogelijkheden." (444)
- Nog meer details
Vraagstuk: we zijn niet geïnteresseerd in procedurele wetsverwijzingen. Maar hoe filteren we die er dan uit?
- Kijk naar frequentie van aanhaling wetsartikelen. Een bepaald artikel werd 122.025 keer geciteerd; dat is een indicatie dat dit een procedurele verwijzing is die niets zegt over juridische relevantie.
- Meer opties, zie p. 446
Rechtspraak.nl
Omdat publicatie op rechtspraak.nl veel sneller gebeurt en een indicator is voor latere commerciële publicatie, is het gepubliceerd worden op rechtspraak.nl op zichzelf een variable.
Hetzelfde geldt voor het publiceren van een actualiteit op rechtspraak.nl, dat als een annotatie geïnterpreteerd kan worden.
REST
SKIPPED
MARC-indicator voor transitiefase
SKIPPED
Samenvatting en conclusie
Samenvatting en verbeterpunten; geen zin die op te schrijven.