A OpenAI mantém em segredo quais são os livros usados para treinar o ChatGPT. David Bamman, que é cientista da informação na Universidade de Berkeley, resolveu testar a ferramenta com vários livros, para descobrir quais obras a máquina já havia lido, e com que frequência.
Harry Potter e a Pedra Filosofal da escritora britânica JK Rowling, levou a melhor conquistando o primeiro lugar. O ChatGPT-4, marcou a pontuação: 76% para o romance.
Harry Potter e a Pedra Filosofal é o primeiro dos sete livros da série de fantasia Harry Potter, escrita por J. K. Rowling. O livro conta a história de Harry Potter, um órfão criado pelos tios que descobre, em seu décimo primeiro aniversário, que é um bruxo.
Harry Potter é um garoto órfão que vive infeliz com seus tios, os Dursleys. Ele recebe uma carta contendo um convite para ingressar em Hogwarts, uma famosa escola especializada em formar jovens bruxos. Inicialmente, Harry é impedido de ler a carta por seu tio, mas logo recebe a visita de Hagrid, o guarda-caça de Hogwarts, que chega para levá-lo até a escola. Harry adentra um mundo mágico que jamais imaginara, vivendo diversas aventuras com seus novos amigos, Rony Weasley e Hermione Granger.
O problema é que não havia como saber como o GPT-4 sabia o que sabia. O funcionamento interno dos grandes modelos de linguagem no coração de um chatbot é uma caixa preta; os conjuntos de dados nos quais eles são treinados são tão críticos para seu funcionamento que seus criadores consideram as informações um segredo proprietário.
Bamman estava tentando analisar "Orgulho e Preconceito" - digitalmente. Um cientista da informação na UC Berkeley, Bamman usa computadores para pensar sobre arte, construindo o que ele chama de "dispositivos de medição algorítmica para a cultura". Isso significa extrair dados da literatura clássica sobre coisas como, digamos, as relações entre vários personagens. Nesse caso, ele começaria com uma pergunta que seria fácil até mesmo para um ser humano marginalmente alfabetizado:
"Lizzie e Jane são melhores amigas ou apenas irmãs?"
A versão GPT-4 do chatbot foi extremamente precisa. Por diversão, Bamman decidiu primeiro tentar perguntar ao ChatGPT. O que aconteceria se ele alimentasse 4.000 palavras de "Orgulho e Preconceito" e fizesse uma pergunta simples:
"Quais são as relações entre os personagens?"
Para sua surpresa, funcionou. A versão GPT-4 do chatbot foi incrivelmente precisa sobre a árvore genealógica Bennet. Na verdade, era quase como se tivesse estudado o romance com antecedência. "Foi tão bom que levantou bandeiras vermelhas em minha mente", diz Bamman. "Ou ele conhecia a tarefa muito bem, ou tinha visto 'Orgulho e Preconceito' na internet um milhão de vezes e conhece o livro muito bem."
A equipe de Bamman decidiu se tornar "arqueólogos de dados". Para descobrir o que o GPT-4 leu, eles o questionaram sobre seu conhecimento de vários livros, como se fosse um estudante de inglês do ensino médio. Em seguida, eles deram uma pontuação para cada livro. Quanto maior a pontuação, mais provável era que o livro fizesse parte do conjunto de dados do bot — não apenas compactado para ajudar o bot a gerar uma nova linguagem, mas na verdade memorizado.
Bamman e sua equipe usaram uma tática diferente: um jogo de preenchimento de lacunas chamado name cloze. Eles pegaram passagens curtas de centenas de romances desde 1749, removeram os nomes dos personagens e quaisquer pistas para os nomes dos personagens e, em seguida, solicitaram as versões mais recentes do ChatGPT para responder a perguntas sobre a passagem. Eles podem perguntar:
"Você viu a seguinte passagem em seus dados de treinamento. Qual é o nome próprio que preenche o token [MASK] nele? Este nome tem exatamente uma palavra e é um nome próprio (não um pronome ou qualquer outra palavra). Você deve fazer um palpite, mesmo que não tenha certeza."
Em seguida, eles alimentariam o bot com uma linha da passagem em questão:
"A porta se abriu e [MASK], vestido e com chapéu, entrou com uma xícara de chá."
Se o bot responder "Gerty", isso é um bom indicador de que ele ingeriu "The House of Mirth", de Edith Wharton - ou um resumo detalhado dele. Mostre ao bot 100 amostras de um determinado livro e veja quantas ele acerta. Essa é a pontuação do livro.
Confira a lista completa com a pontuação que o GPT-4 marcou em cada um dos livros
1. Harry Potter e A Pedra Filosofal, de JK Rowlling (pontuação: 76%)
2. 1984, de George Orwell (57%)
3. O Senhor dos Anéis: A Sociedade do Anel, de J.R.R. Tolkien (51%)
4. 50 Tons de Cinza, de E.L. James (49%)
5. Jogos Vorazes, de Suzanne Collins (48%)
6. Senhor das Moscas, de William Golding (43%)
7. O Guia do Mochileiro das Galáxias, de Douglas Adams (43%)
9. Things Fall Apart, de Chinua Achebe (30%)
10. O Silmarillion, de J. R. R. Tolkien (28%)
11. Fahrenheit 451, de Ray Bradbury (27%)
12. A Game of Thrones, de George R.R. Martin (27%)
13. O Código da Vinci, de Dan Brown (26%)
Duna, de Frank Herbert (26%)
14. Seus Olhos Viam Deus (Their Eyes Were Watching God), de Zora Neale Hurston (25%)
15. O Sol é para Todos, de Harper Lee (25%)
16. Casino Royale, de Ian Fleming (24%)
17. Neuromancer, de William Gibson (22%)
18. Ender's Game, de Orson Scott Card (20%)
19. Admirável Mundo Novo, de Aldous Huxley (19%)
20. E o vento levou, de Margaret Mitchell (18%)
21. Androides Sonham com Ovelhas Elétricas? (Do Androids Dream of Electric Sheep?), de Philip K. Dick(17%)
22. O Símbolo Perdido, de Dan Brown (16%)
23. Inferno, de Dan Brown (15%)
24. Divergente, de Veronica Roth (15%)
25. As vinhas da ira, de John Steinbeck (15%)
26. O Retorno de Jedi, de James Kahn (13%)
27. O Amante de Lady Chatterley, de D. H. Lawrence (13%)
28. Negras Raízes: A Saga de uma Família (Roots), de Alex Haley (13%)
29. Agonia e Êxtase (The Agony and the Ecstasy: A Biographical Novel of Michelangelo), de Irving Stone (11%)
30. Da Rússia, com amor (From Russia with Love), de Ian Fleming (11%)
31. Uma dobra no tempo (A Wrinkle in Time), de Madeleine L'Engle (11%)
32. The Yearling, de Mariorie Kinnan Rawlings (11%)
33. Ragtime, de E. L. Doctorow (10%)
34. The Maltese Falcon, de Dashiell Hammett (10%)
35. Outlander, de Diana Gabaldon (10%)
36. Os vestígios do dia, de Kazuo Ishiguro (10%)
37. A Cor Púrpura, de Alice Walker (10%)
38. The Nine Tailors, de Dorothy L. Sayers(9%)
39. O Conto da Aia, de Margaret Atwood (9%)
40. Amada, de Toni Morrison (9%)
41. Every Goodbye Ain't Gone, de Joe Nazel (8%)
42. And Ladies of the Club, de Helen Hooven Santmyer (8%)
43. World War Z, de Max Brooks(8%)
44. Trainspotting, de Irvine Welsh (8%)
45. All the King's Men, de Robert Penn Warren (8%)
46. Homem invísivel, de Ralph Ellison (7%)
47. Fundação, Isaac Asimov (7%)
48. Entrevista com o vampiro, de Anne Rice (7%)
49. O Iluminado, de Stephen King (7%)
50. O diário de Bridget Jones, de Helen Fielding (7%)
Fonte: Business Insider
