01

Registre de couverture

Assez de preuves pour concevoir l’étude; pas assez pour juger Search+.

Le travail exploratoire du 13 octobre a obtenu une cote de couverture de 4/5. Cela permet un protocole falsifiable, mais aucune conclusion sur la qualité pratique de Search+.

Couverture de la recherche exploratoire
ÉtatCouvertureConséquence
Matériel11 pages officielles de Yale; 11 articles ou prépublications; 6 sources officielles BCHRT, CanLII ou Justice Canada; 3 documents internesBase suffisante pour la théorie d’accès et le protocole.
Échec3 demandes de texte intégral SSRN bloquées; résumés officiels seulementAucune conclusion détaillée tirée des résumés.
OmisReddit, 1Point3Acres et College Confidential; bases juridiques commerciales indisponiblesLes anecdotes d’admission ne fondent pas une méthode scientifique.
À faireAucun benchmark Search+, aucun corpus autorisé, aucun participantAucune conclusion de performance, de complétude ou d’effet utilisateur.

02

Question de recherche corrigée

L’accès utile doit franchir quatre seuils.

Search+ accepte des questions en langage courant, construit une recherche CanLII et analyse les 25 premiers résultats. L’accès individuel à cette interface demeure distinct de l’accès d’un organisme à un corpus réutilisable.

Le BCHRT dirige le public vers CanLII tout en précisant que l’original signé dans son dossier fait autorité. Fiabilité, complétude et traçabilité sont donc des questions institutionnelles.

Quatre seuils

  1. Visible — ouvrir une décision

  2. Consultable — la retrouver à partir des faits

  3. Utilisable par calcul — indexer et reproduire légalement la recherche

  4. Actionnable — comprendre l’autorité et accomplir l’étape suivante

SourcesCanLII BlogCanLIIBC Human Rights TribunalCanLIIYale Law School Information Society Project

03

Méthodes adjacentes à Yale

Quatre traditions deviennent une méthode en C.-B.

Des travaux sources à la pratique du Lab
TraditionApportApplication
Yale Legal AI LabInterfaces linguistiques, règles formelles, prouveurs et questions guidées; CLEAR examine faits et contrefactuels.Questions guidées; règles déterministes pour délais et compétence; modèles linguistiques pour langue, classement et recherche.
ISP · Access to KnowledgeL’accès comprend données brutes, analyse secondaire, outils et services.Mesurer séparément visibilité, recherche, utilisation informatique et action concrète.
Digital Ethics CenterProgramme sur les affirmations auditables, la gouvernance et l’administration publique assistée par IA.Fixer les critères à l’avance et publier versions, échecs et contrôle humain.
Humanitarian Research LabÉvaluation des sources, fusion des données et préservation des preuves.Conserver URL canonique, date, hash, version et corrections.

SourcesYale NewsarXivYale Law School Information Society ProjectYale Digital Ethics CenterYale Humanitarian Research Lab

04

Article un · proposé

Du récit ordinaire aux décisions faisant autorité.

Titre de travail : « Searchable Is Not Actionable: Auditing Public Access to BC Human Rights Tribunal Decisions in the Age of AI ».

  • Un récit en anglais ordinaire trouve-t-il les décisions pertinentes?
  • Search+ améliore-t-il la recherche CanLII traditionnelle?
  • Les résultats changent-ils entre anglais juridique, anglais courant, formulation traduite du cantonais et requête courte ou fautive?
  • La personne peut-elle voir similitude, contrôle judiciaire, passage utile et prochaine étape?
  • Quota, complétude, corrections, licence et accès groupé empêchent-ils une recherche reproductible?
Pilote proposé

  1. 40 scénarios dépersonnalisés ou synthétiques

  2. 4 variantes par scénario

  3. Comparer CanLII traditionnel et Search+

  4. Ajouter BM25 après autorisation du corpus

  5. 2 annotateurs indépendants

  6. Résoudre les désaccords et publier le protocole verrouillé

SourcesBC Human Rights TribunalCanLIICanLII

05

Évaluer avant de conclure

Une belle réponse ne compense pas une autorité manquée.

Dans CLERC, les modèles de recherche zéro-shot n’atteignent que 48,3 % de recall@1000; GPT-4o obtient les meilleurs scores ROUGE F tout en hallucinnant le plus. LegalBench-RAG cible donc des passages juridiques minimaux et réellement pertinents. Ces résultats américains justifient les mesures; ils ne prédisent pas le BCHRT.

Mesures fixées avant les résultats
MesureQuestionImportance
Recall@5 et @10Combien de décisions pertinentes arrivent en tête?Une autorité manquée reste invisible.
MRR et nDCG@10À quel rang et avec quelle constance?Le premier résultat utile influence temps et abandon.
Temps et reformulationsCombien d’effort avant la première autorité?L’accès doit réduire le fardeau réel.
Précision du passageL’extrait contient-il la proposition utile?Un document connexe peut fournir le mauvais passage.
TraçabilitéSource, version et pinpoint sont-ils vérifiables?Un tiers doit pouvoir revoir le dossier.
Tâche accomplieLa personne réussit-elle l’étape demandée?Une impression d’aide ne prouve pas l’accès actionnable.

SourcesACL Anthology · Findings of NAACL 2025arXiv

06

Séquence

Auditer le corpus avant de recruter des personnes vulnérables.

Programme de trois articles
ÉtudePortéeCondition
1 · Searchable Is Not ActionableRecherche traditionnelle contre Search+ sur scénarios contrôlés et variantes linguistiques.Interface publique limitée; BM25 après autorisation.
2 · Visible, Searchable, Computable, ActionableComparer BCHRT, CHRT, CRT, WCAT et OIPC sur complétude, identifiants, métadonnées, langues, corrections, accès machine, coût et provenance.Adapter l’indice de Justice Canada et publier le barème.
3 · From Legal Problem to Research PackComparer un site ordinaire et le Pathfinder sur forum, délai, autorité, temps, compréhension et confiance.Consentement, minimisation et examen éthique indépendant.

SourcesDepartment of Justice Canada

07

Du rapport à l’article

Publier le protocole, les échecs et la voie de reproduction.

  • Réviseur BCHRT ou droit administratif.
  • Deuxième annotateur indépendant.
  • Conseiller universitaire en méthodes prêt à contester le protocole.
  • Un pilote de 20 à 40 requêtes donnera une base concrète pour une discussion ultérieure avec Yale.
Parcours de publication

  1. Rapport de preuve de l’ONG

  2. Prépublication anglaise

  3. Protocole, requêtes, code, résultats et limites

  4. DOI Zenodo

  5. Soumission à une revue ou conférence

  6. Sans droit de republier le texte: IDs, annotations, hashes et étapes

08

Dossier de preuve

Sources et limites

Cette page publie un plan, pas des résultats. Aucun benchmark Search+ n’a été exécuté, aucun corpus BCHRT autorisé n’a été obtenu et aucune étude avec participants n’a commencé.

  1. Yale Law School’s AI lab

    Yale News · November 12, 2025

    Lab mission, formal-reasoning approach, legal-aid distribution and Scott Shapiro’s “AI or nothing” statement.

  2. Access to Knowledge

    Yale Law School Information Society Project · Accessed October 13, 2026

    Defines access broadly to include raw information, secondary analysis and knowledge-embedded tools and services.

  3. Publications

    Yale Digital Ethics Center · Accessed October 13, 2026

    Current research programme covering auditable AI claims, governance, public-sector systems and street-level bureaucracy.

  4. Remote Sensing and OSINT Analysis for Human Rights and Humanitarian Applications

    Yale Humanitarian Research Lab · Accessed October 13, 2026

    Human-rights investigation training in source evaluation, data fusion and evidence preservation.

  5. ‘Put the Car on the Stand’: SMT-based Oracles for Investigating Decisions

    arXiv · May 9, 2023

    CLEAR uses symbolic execution and SMT solving to investigate factual and counterfactual questions about algorithmic decisions.

  6. CLERC: A Dataset for U.S. Legal Case Retrieval and Retrieval-Augmented Analysis Generation

    ACL Anthology · Findings of NAACL 2025 · April 2025

    The authors report 48.3% recall@1000 for zero-shot retrieval models; GPT-4o had the highest ROUGE F-scores and the most hallucination in their generation benchmark.

  7. LegalBench-RAG: A Benchmark for Retrieval-Augmented Generation in the Legal Domain

    arXiv · August 19, 2024

    A retrieval benchmark centred on minimal, highly relevant legal passages rather than document IDs or large imprecise chunks.

  8. Development of an Access to Justice Index for Federal Administrative Bodies

    Department of Justice Canada · 2017 · updated index released 2025

    Measures access through technology, procedure, representation, information, costs, functionality and outcome transparency from a user perspective.

  9. Introducing CanLII Search+

    CanLII Blog · February 25, 2026

    Available to anyone with a free myCanLII account, subject to a daily limit.

  10. CanLII Search+ User Guide

    CanLII · 2026

    Search+ creates and refines a structured search; Analyze reads the full text of the first 25 results and assigns relevance scores.

  11. Terms of Use

    CanLII · Updated June 3, 2026

    Systematic downloading is prohibited; automated or large-scale retrieval is directed to original sources or authorized channels. Search+ availability, continuity and preservation are not warranted, and the service may be changed, suspended or discontinued.

  12. Decisions

    BC Human Rights Tribunal · Updated April 1, 2026

    CanLII and yearly pages; the signed original in the Tribunal file is authoritative.