01

研究覆蓋紀錄

足夠設計第一篇研究，但未足夠判斷 Search+ 好或差。

10 月 13 日的 scoping round 覆蓋評分是 4/5，意思是現有資料足夠訂立一套可被推翻的研究方案，並不代表 Search+ 已通過測試。

本輪研究做了甚麼，尚欠甚麼
狀態覆蓋研究後果
有實質資料11 個 Yale 官方研究頁；11 篇相關論文或 preprint；6 個 BCHRT、CanLII 或 Justice Canada 官方來源；3 份現有 Lab 研究稿足夠界定 access 理論、研究設計及證據保存方法。
取得失敗3 次 SSRN 全文請求被擋；只讀到官方 abstractAbstract 沒有用來支持細節性結論。
刻意略過Reddit、1Point3Acres、College Confidential；未有商業法律資料庫 access申請經驗討論不適合作研究方法依據；未能存取的資料庫保留為限制。
尚未做未登入 Search+ 跑 benchmark；未取得獲授權 corpus；未做人類參與者測試不可以聲稱 Search+ 的表現、corpus 完整性或使用者成效。

02

修正後的研究問題

真正有用的判詞 access 要跨過四層。

Search+ 可以接受日常語言問題，建立及調整 CanLII structured search，再分析頭 25 份結果。這項資料推翻了「普通人完全沒有 AI-assisted search」的舊說法。但個人可以用一個搜尋介面，與 nonprofit 有權使用可重現 corpus，是兩個不同問題。

BCHRT 直接叫使用者到 CanLII 搜尋，同時說明 Tribunal 檔案內的簽署正本才具權威。因此，搜尋是否可靠、完整和可追溯，是公共權利制度的運作問題，不只是產品喜好。

判詞 access 的四層門檻

  1. Visible — 可以打開一份判詞

  2. Searchable — 可以由自己的事實找到它

  3. Computationally usable — 獲授權工具可以建立 index、比較及重現搜尋

  4. Practically actionable — 當事人看得懂 authority，並完成下一步

來源CanLII BlogCanLIIBC Human Rights TribunalCanLIIYale Law School Information Society Project

03

由 Yale 鄰近研究吸收方法

四條研究線，合成一套適合 BC 的方法。

這不是照抄某一個 Yale project。ISP 提供 access 理論；DEC 提供 audit discipline；Legal AI 研究提供 hybrid reasoning 架構；HRL 提供證據保存標準；Human Rights Access Lab 提供真實 BCHRT 問題、使用者流程及落地場景。

由研究傳統到 Human Rights Access Lab 實踐
研究傳統提供甚麼本 Lab 如何使用
Yale Legal AI Lab語言介面配合 theorem prover、formal rules 及 guided questions；CLEAR 用 symbolic methods 問 factual 及 counterfactual questions。以 guided questions 收集事實；限期、forum 和程序條件用 deterministic rules；LLM 只處理語言、分類及檢索。
Information Society Project · Access to KnowledgeAccess 包括原始資料、二次分析，以及包含知識的工具和服務，不只是網上看得到。分開測試 visible、searchable、computationally usable 及 practically actionable。
Digital Ethics Center研究可審計的 AI 主張、governance，以及 AI 對公共行政前線工作的影響。預先鎖定可被推翻的標準；公開版本、失敗及人工覆核方法；不讓結果跟 advocacy 立場走。
Humanitarian Research Lab人權調查所需的來源評估、data fusion 及 evidence preservation。保存 canonical URL、retrieval time、hash、版本及更正紀錄。

來源Yale NewsarXivYale Law School Information Society ProjectYale Digital Ethics CenterYale Humanitarian Research Lab

04

第一篇 paper · 擬議

由日常語言問題走到具權威的 BCHRT 判詞。

暫定題目是 “Searchable Is Not Actionable: Auditing Public Access to BC Human Rights Tribunal Decisions in the Age of AI.” 研究不是問答案看起來是否聰明，而是普通人能否找到真正相關的 authority，再用它完成一件可核實的事。

  • 日常英文描述能否找到真正相關的 BCHRT 判詞？
  • Search+ 相比傳統 CanLII search 有沒有實質改善？
  • Legal English、ordinary English、由廣東話思考再翻譯、以及較短或有拼字錯誤的 query，結果會否明顯不同？
  • 找到判詞後，使用者能否辨認重要相似、judicial review 狀態、支持結論的原文及下一步？
  • Quota、完整性、更正、licensing 及 bulk access 會否令 NGO 無法做可重現研究？
擬議 pilot

  1. 建立 40 個去識別化或 synthetic BCHRT scenarios

  2. 每個 scenario 寫 4 種 query

  3. 比較傳統 CanLII search 與 Search+

  4. 取得 corpus 授權後才加入 BM25 baseline

  5. 兩名 annotator 獨立判斷 relevance

  6. 處理分歧並公開預先鎖定的 protocol

來源BC Human Rights TribunalCanLIICanLII

05

先量度，後下結論

答案寫得漂亮，不能補救漏掉 authority。

CLERC 的美國 case-law benchmark 顯示，zero-shot retrieval model 即使看頭 1,000 個結果，recall@1000 亦只有 48.3%；GPT-4o 的 ROUGE F-score 最高，但在該 generation test 同時 hallucinate 得最多。LegalBench-RAG 因此集中測試最小而真正相關的 passage。這些數字不是 BCHRT 表現預測，只是說明必須直接量度 retrieval 和 citation。

看到結果前先鎖定的 metrics
指標回答甚麼為何重要
Recall@5、Recall@10已知相關判詞有多少排在前列？漏掉的 authority 對使用者完全不可見。
MRR、nDCG@10Relevant result 有多早出現，排序是否穩定？第一份有用結果影響所需時間及是否放棄。
所需時間、修改 query 次數找到第一份相關 authority 要做多少工作？真正可用的系統要減少實際研究負擔。
Relevant-passage precision顯示的原文是否真的包含所需 proposition？文件相關，不代表引用的 passage 正確。
Authority／citation traceability能否追到正確來源、版本及 pinpoint？Research pack 必須可由另一個人獨立覆核。
Task completion使用者能否完成一個指定下一步？覺得有幫助，不等於 access 已經 actionable。

來源ACL Anthology · Findings of NAACL 2025arXiv

06

研究次序

先審視 corpus，之後才邀請處於弱勢的人做測試。

三篇研究的發展路線
研究範圍開始條件
1 · Searchable Is Not Actionable用受控 BCHRT scenarios 及不同語言版本，比較傳統搜尋與 Search+。可先做有限度公共介面測試；BM25 等 corpus 授權。
2 · Visible, Searchable, Computable, Actionable比較 BCHRT、CHRT、CRT、WCAT、OIPC 的完整性、stable IDs、metadata、搜尋、多語言、更正、machine-readable access、成本及 provenance。改編 Justice Canada 以使用者為中心的 A2J Index，並公開 scoring protocol。
3 · From Legal Problem to Research Pack比較普通網站與 Pathfinder 在 forum、deadline、authority、時間、理解及 confidence calibration 的表現。正式 consent、data minimization，以及大學或獨立 ethics review。

來源Department of Justice Canada

07

由 NGO evidence report 到 paper

Protocol、失敗紀錄和重現方法都一併公開。

  • 需要一名熟悉 BCHRT 或 administrative law 的法律 reviewer。
  • 需要第二名獨立 relevance annotator。
  • 需要一名願意挑戰研究設計的 academic methods adviser。
  • 完成 20 至 40 條 query pilot 後，才帶着實際方法、結果及具體問題與 Yale 研究者交流。
發布路線

  1. 先出 NGO evidence report

  2. 同步整理英文 preprint

  3. 公開 protocol、query set、code、results、limitations

  4. 用 Zenodo 產生 DOI

  5. 投稿 access-to-justice、legal-informatics 或 NLP venue

  6. 如無全文再發布權，只公開 IDs、annotations、hash 及重現步驟

08

證據紀錄

研究來源及限制

本頁公開研究設計，不是研究結果。我們尚未實際跑 Search+ benchmark、未取得獲授權 BCHRT corpus，亦未開始人類參與者研究。

  1. Yale Law School’s AI lab

    Yale News · November 12, 2025

    Lab mission, formal-reasoning approach, legal-aid distribution and Scott Shapiro’s “AI or nothing” statement.

  2. Access to Knowledge

    Yale Law School Information Society Project · Accessed October 13, 2026

    Defines access broadly to include raw information, secondary analysis and knowledge-embedded tools and services.

  3. Publications

    Yale Digital Ethics Center · Accessed October 13, 2026

    Current research programme covering auditable AI claims, governance, public-sector systems and street-level bureaucracy.

  4. Remote Sensing and OSINT Analysis for Human Rights and Humanitarian Applications

    Yale Humanitarian Research Lab · Accessed October 13, 2026

    Human-rights investigation training in source evaluation, data fusion and evidence preservation.

  5. ‘Put the Car on the Stand’: SMT-based Oracles for Investigating Decisions

    arXiv · May 9, 2023

    CLEAR uses symbolic execution and SMT solving to investigate factual and counterfactual questions about algorithmic decisions.

  6. CLERC: A Dataset for U.S. Legal Case Retrieval and Retrieval-Augmented Analysis Generation

    ACL Anthology · Findings of NAACL 2025 · April 2025

    The authors report 48.3% recall@1000 for zero-shot retrieval models; GPT-4o had the highest ROUGE F-scores and the most hallucination in their generation benchmark.

  7. LegalBench-RAG: A Benchmark for Retrieval-Augmented Generation in the Legal Domain

    arXiv · August 19, 2024

    A retrieval benchmark centred on minimal, highly relevant legal passages rather than document IDs or large imprecise chunks.

  8. Development of an Access to Justice Index for Federal Administrative Bodies

    Department of Justice Canada · 2017 · updated index released 2025

    Measures access through technology, procedure, representation, information, costs, functionality and outcome transparency from a user perspective.

  9. Introducing CanLII Search+

    CanLII Blog · February 25, 2026

    Available to anyone with a free myCanLII account, subject to a daily limit.

  10. CanLII Search+ User Guide

    CanLII · 2026

    Search+ creates and refines a structured search; Analyze reads the full text of the first 25 results and assigns relevance scores.

  11. Terms of Use

    CanLII · Updated June 3, 2026

    Systematic downloading is prohibited; automated or large-scale retrieval is directed to original sources or authorized channels. Search+ availability, continuity and preservation are not warranted, and the service may be changed, suspended or discontinued.

  12. Decisions

    BC Human Rights Tribunal · Updated April 1, 2026

    CanLII and yearly pages; the signed original in the Tribunal file is authoritative.