Компанії з розвитку ШІ скуповують мільйони книг й знищують їх після використання

Розслідування, проведене 404 Media, вказує, що компанії з розвитку ШІ скуповують мільйони вживаних книг, а потім знищують їх після використання. 

Читайте также: Антикризова відеокарта: AMD створила Radeon RX 9050 на базі RDNA 4 з 4 ГБ пам’яті

У звіті за результатами розслідування вказується, що цим компаніям для розвитку ШІ необхідні величезні обсяги даних високої якості. Однак в інтернеті наразі поширюється контент, згенерований ШІ, який зазвичай вважають сміттям. Він забруднює базу даних й негативно впливає на навчання моделей штучного інтелекту.

Внаслідок цього провідні компанії з розвитку ШІ звернулись до друкованих джерел, опублікованих до 2022 року, оскільки вони з більшою ймовірністю міститимуть високоякісну інформацію. Існують прецеденти, коли компанії з розвитку ШІ використовували друковані видання для навчання своїх моделей. Наприклад, Anthropic інвестувала мільйони доларів у вилучення інформації з величезної кількості друкованих видань для створення власних моделей Claude, а потім знищила ці книжки. 

Компанія скуповувала книги в Better World Books. І хоча рішення суду підтвердило, що використання книг для навчання ШІ відповідає визначенню сумлінного використання відповідно до закону про авторське право, Anthropic загрожував шалений штраф у розмірі $1,5 млрд за збереження сховища з 7 млн піратських книжок, які порушували авторські права авторів та видавців.

Нещодавно аналогічним чином коаліція видавців подала позов проти Google, звинувативши техгіганта в незаконному використанні мільйонів книжок, захищених авторським правом, для розробки власних моделей Gemini. Повідомляється, що онлайн-база даних ISBNdb, яка містить понад 111 млн каталогізованих книжок, довгий час була популярною платформою для торговців книгами, бібліотек та дистриб’юторів. 

Однак зі стрімким розвитком ШІ платформа переорієнтувалась на надання спеціалізованих послуг з гуртової закупівлі книг компаніям з розвитку ШІ. За даними 404 Media, обсяги замовлень варіюються від 1000 до мільйона книг за одну транзакцію. 

Читайте также: Надійний інсайдер назвав можливу дату виходу третього трейлера GTA 6: чекати залишилося трохи більше тижня

За словами одного професійного книгопродавця, спостерігається безпрецедентне зростання продажу книг, яке почалось з квітня цього року. Раніше цей продавець реалізовував близько 20 книг на тиждень, однак протягом останніх місяців щотижневі продажі зросли до кількох сотень книг й у 5 разів перевищили традиційні обсяги. Інші книготорговці на таких платформах як Alibris та Biblio повідомили про аналогічне зростання продажів.

Хоча наразі не має конкретних доказів, що ISBNdb або будь-яка інша компанія з розвитку ШІ здійснює подібні гуртові закупівлі, є низка тривожних ознак. Зокрема, великі замовлення включали лише книги з міжнародним стандартним книжковим номером (ISBN) — унікальним 13-значним кодом, який використовується у всьому світі для ідентифікації книг. При цьому не було виявлено ніяких закономірностей щодо тематики, жанру або автора. Окрім цього складалось враження, що покупці ігнорували ціни на книги й скуповували їх за будь-яку ціну, навіть за завищеними цінами.

В процесі судового розгляду за участю  Anthropic Том Харві, який до цього брав участь у створенні Google Books, а потім очолив проєкт цифровізації Anthropic під назвою “Проєкт Панама”, підтвердив, що Anthropic наймала кілька сторонніх компаній, які займаються скануванням документів.

Однією з цих компаній була Datamation Information Services, яка пропонує послуги зі сканування книг у великих обсягах як неруйнівним методом, так і руйнівним методом. Перший метод використовує різні інструменти, зокрема, надголовні сканери, планшетні сканери та V-подібні системи сканування. Другий метод передбачав розбір книжок на окремі сторінки та їхню подачу у промисловий високошвидкісний сканер. Очікувано, що компанії з розвитку ШІ надають перевагу другому методу, оскільки він ефективніший та дешевший. Це призводить до знищення мільйонів книг.

Вочевидь друковані видання слугують багатим джерелом інформації для ШІ. Однак для багатьох виникає питання стосовно етичності вилучення великої кількості книг, оскільки незрозуміло, чи фільтрують компанії з розвитку ШІ рідкісні або вилучені з друку книги від поширених видань в процесі цифровізації. Інша важлива проблема полягає в тому, що відскановані книги потрапляють безпосередньо до приватної бази даних для навчання ШІ, до якої широка громадськість не має доступу. Це дозволить домогтись з рештою більш розумного ШІ, однак може позбавити майбутні покоління людей важливої інформації.

Читайте также: Ubisoft дозволила власникам ігор на Xbox безкоштовно грати в них на ПК

Джерело: 404 Media; Tom’s Hardware