Модель Yi-Lightning
https://ic.pics.livejournal.com/colonelcassad/19281164/5115353/5115353_900.jpg
Китайская компания обучила свою модель до уровня GPT-4 всего за $3 млн
Как сообщает Tomshardware (https://www.tomshardware.com/tech-industry/artificial-intelligence/chinese-company-trained-gpt-4-rival-with-just-2-000-gpus-01-ai-spent-usd3m-compared-to-openais-usd80m-to-usd100m), китайская компания 01. ai продемонстрировала то, что для обучения мощной модели искусственного (https://t.me/russian_osint)интеллекта не всегда требуются значительные инвестиции.
Модель Yi-Lightning заняла почётное шестое место по производительности в рейтинге LMSIS Университета Беркли. 01. ai потратила на обучение модели всего $3 млн, используя (https://t.me/russian_osint)2000 графических процессоров, что существенно ниже затрат OpenAI на GPT-4 (от $80 до $100 млн) и предполагаемых $1 млрд на GPT-5.
Руководитель компании Кай-Фу (https://t.me/russian_osint)Ли подчеркнул: ограниченные финансовые и технологические ресурсы, вызванные экспортными ограничениями США на передовые графические процессоры, лишь только простимулировали внедрение высокоэффективных инженерных решений в Китае.
В рейтинге даже обогнала немного GPT-4o-2024-05-13 и Claude 3.5 Sonnet (20241022). Умеют же люди, когда руки из правильного места растут.
https://lmarena.ai/?leaderboard
@Russian_OSINT – цинк
Вот это правильный подход. Создавать эффективный продукт кратно дешевле чем у оппонентов.
На такой подход и надо ориентироваться.
Комментарий редакции
Тезисы статьи:
1. Китайская компания 01.ai успешно обучила модель Yi-Lightning с минимальными затратами:
- Стоимость обучения составила всего $3 млн
- Использовано 2000 графических процессоров
- Для сравнения: OpenAI тратит $80-100 млн на GPT-4
2. Ключевые достижения модели:
- Заняла шестое место в рейтинге LMSIS Университета Беркли
- Немного опередила GPT-4o и Claude 3.5 Sonnet
- Продемонстрировала высокую эффективность при ограниченных ресурсах
3. Позиция руководителя компании Кай-Фу Ли:
- Экспортные ограничения США стимулируют внедрение инновационных инженерных решений
- Недостаток технологических ресурсов превращается в конкурентное преимущество
Вывод:
Китайские разработчики доказали возможность создания высокоэффективной ИИ-модели при значительно меньших финансовых затратах. Это демонстрирует потенциал оптимизации технологических процессов и важность инновационного подхода в разработке искусственного интеллекта.
Дополнительный вывод:
Первопроходцы в области больших языковых моделей несут колоссальные издержки на всех этапах разработки. Создание современной ИИ-модели – это сложнейший научно-технический процесс, который включает:
1. Формирование колоссальных массивов обучающих данных
2. Разработку уникальных алгоритмов обучения
3. Постоянное совершенствование математической структуры модели
4. Колоссальные вычислительные мощности для тестирования и оптимизации
Китайский подход демонстрирует классическую стратегию "быстрого последователя":
- Использование готовых наработок западных компаний
- Оптимизация под локальные ресурсы
- Минимизация собственных затрат на НИОКР
- Эффективное применение чужого опыта
Важное наблюдение: текущие рейтинги ИИ-моделей показывают нелинейную зависимость между инвестициями и качеством. На верхних позициях – гиганты с колоссальными вложениями, внизу – более скромные, но эффективные решения. Это говорит о зрелости рынка и появлении различных стратегий развития ИИ-технологий.
Принципиальный момент – модели нижнего эшелона часто оптимизированы под конкретные задачи и могут быть не менее полезными в своих нишах, чем дорогостоящие аналоги.
Таким образом, китайский кейс демонстрирует не только технологическую зрелость, но и прагматичный подход к инновациям – максимальная эффективность при минимальных затратах.
Однако это не отменяет фундаментального принципа научного прогресса: действительные научные прорывы и революционные достижения даются не дёшево. За каждым значимым скачком в технологиях стоят годы интенсивных исследований, огромные финансовые вложения, труд выдающихся умов и готовность идти на риск в погоне за принципиально новым знанием. Оптимизация и заимствование – лишь часть инновационного процесса, но не его двигатель.