^^BIG-bench   Beyond the Imitation Game  9-6-2022.

The imitation game - Alan Turing  1-10-1950  pdf

e' il famoso test che viene citato nella denominazione del benchmark, nell'articolo Computing machinery and intelligence.

BIG-bench   Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models  arXiv

scopo: benchmark per LLM (large language model), e per estrapolare loro future capacita'.

• collaborazione di 444 autori di 132 istituzioni
• disponibile open: https://github.com/google/BIG-bench
• 200 e più task, #summary-table, es
  1. analytic_entailment

1. https://www.agendadigitale.eu/cultura-digitale/con-chatgpt-siamo-gia-nellera-post-test-di-turing-ma-nessuno-piu-grida-allo-scandalo/
2. https://syncedreview.com/2022/06/14/444-authors-from-132-institutions-release-big-bench-a-204-task-extremely-difficult-and-diverse-benchmark-for-large-language-models/