Можно ли научить человека пониманию ? 

STARLINK технологии , Коты & Сrypto
@lgj170

Вице-президент NVIDIA Боб Петте утверждает, что стоимость электроэнергии, необходимой для генерации токенов для моделей ИИ, за последние 10 лет снизилась в 100 000 раз, и Blackwell, который сейчас находится в производстве, продолжает эту тенденцию.

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Илон Маск утверждает, что вычислительная мощность ИИ растет «гиперэкспоненциально», со скоростью около 500\% в год, и, кроме того, алгоритмы становятся все более сложными, поэтому они улучшаются как количественно, так и качественно.

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Макс Тегмарк говорит, что в ближайшие 2 года произойдут безумные вещи из-за ИИ, поэтому мы больше не можем планировать на 10 лет вперед, и хотя вокруг этого много шумихи, эта технология никуда не денется и «взорвет наш мозг».

[внешняя ссылка]

OpenAI
@OpenAI
Look what showed up at our doorstep.

Thank you to
@nvidia
for delivering one of the first engineering builds of the DGX B200 to our office.

[внешняя ссылка]

Второй раз ИИ получает Нобелевскую премию. На этот раз награда в области химии досталась старшим научным сотрудникам Google DeepMind за их вклад в предсказание структуры белков.

Хассабис и Джампер создали искусственный интеллект под названием AlphaFold2, который смог предсказать структуру почти всех 200 миллионов белков.

Энергопотребление ИИ удалось снизить на 95 \% без потерь, но Nvidia новый алгоритм вряд ли одобрит

В условиях растущей популярности искусственного интеллекта высокое энергопотребление ИИ-моделей становится всё более актуальной проблемой. Несмотря на то, что такие техногиганты, как Nvidia, Microsoft и OpenAI, пока не говорят об этой проблеме громко, явно преуменьшая её значение, специалисты из BitEnergy AI разработали технологию, способную значительно снизить энергопотребление без существенных потерь в качестве и скорости работы ИИ.

Согласно исследованию, новый метод может сократить использование энергии вплоть до 95 \%. Команда называет своё открытие «Умножением линейной сложности» (Linear-Complexity Multiplication) или сокращённо L-Mul. Как пишет TechSpot, этот вычислительный процесс основан на сложении целых чисел и требует значительно меньше энергии и операций по сравнению с умножением чисел с плавающей запятой, которое широко применяется в задачах, связанных с ИИ.
На сегодняшний день числа с плавающей запятой активно используются в ИИ для обработки очень больших или очень малых чисел. Они напоминают запись в бинарной форме, что позволяет алгоритмам точно выполнять сложные вычисления. Однако такая точность требует крайне больших ресурсов и уже вызывает определённые опасения, так как некоторым ИИ-моделям нужны огромные объёмы электроэнергии. Например, для работы ChatGPT требуется столько электроэнергии, сколько потребляют 18 000 домохозяйств в США — 564 МВт·ч ежедневно. По оценкам аналитиков из Кембриджского центра альтернативных финансов, к 2027 году ИИ-индустрия может потреблять от 85 до 134 ТВт·ч ежегодно.
Алгоритм L-Mul решает эту проблему за счёт замены сложных операций умножения с плавающей запятой на более простые сложения целых чисел. В ходе тестирования ИИ-модели сохранили точность, при этом энергопотребление для операций с тензорами сократилось на 95 \%, а для скалярных операций на 80 \%.
L-Mul также улучшает и производительность. Оказалось, что алгоритм превосходит текущие стандарты вычислений с 8-битной точностью, обеспечивая более высокую точность с меньшим количеством операций на уровне битов. В ходе тестов, охватывающих различные задачи ИИ, включая обработку естественного языка и машинное зрение, снижение производительности составило всего 0,07 \%, что специалисты сочли незначительной потерей на фоне огромной экономии энергии.
При этом модели на основе трансформеров, такие как GPT, могут получить наибольшую выгоду от использования L-Mul, поскольку алгоритм легко интегрируется во все ключевые компоненты этих систем. А тесты на популярных моделях ИИ, таких как Llama и Mistral, показали даже улучшение точности в некоторых задачах.
Плохая новость заключается в том, что L-Mul требует специализированного оборудования и современные ускорители для ИИ не оптимизированы для использования этого метода. Хорошая новость заключается в том, что уже ведутся работы по созданию такого оборудования и программных интерфейсов (API).
Одной из возможных преград может стать сопротивление со стороны крупных производителей чипов вроде Nvidia, которые могут замедлить внедрение новой технологии. Так как, например, Nvidia является лидером в производстве оборудования для искусственного интеллекта и маловероятно, что она так просто уступит позиции более энергоэффективным решениям.

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

По текущим оценкам, к концу 2025 года 99\% интернет-контента будет генерироваться с помощью искусственного интеллекта. Мы только начинаем параболический рост вычислительной мощности с использованием ИИ.

[внешняя ссылка]

ИИ помог найти 75 000 новых вирусов, многие из которых весьма необычны

[внешняя ссылка]

Исследование Apple показало, что ИИ-модели лишь имитируют мышление

Исследование, проведённое учёными Apple, показало, что большие языковые модели, такие как ChatGPT, на самом деле не думают и не рассуждают так, как это делает человек. Несмотря на способности решать простые математические задачи, как выяснили исследователи, БЯМ легко сбить с толку, добавив в задачу лишнюю или несущественную информацию. Это открытие ставит под сомнение способность ИИ к логическому мышлению и выявляет его уязвимости при работе с изменёнными условиями

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Рэй Курцвейл говорит, что вскоре мы сможем создавать резервные копии нашего мозга, чтобы гарантировать сохранение нашего сознания в случае аварий, и если вы сможете продержаться еще 5–10 лет, «будет очень трудно представить, как вы можете умереть».

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Кай-Фу Ли говорит, что новая модель Yi-Lightning от [внешняя ссылка] лучше, чем GPT-4, и в 500 раз дешевле, и мы увидим «феноменальные» изменения в ближайшие 2 года, когда ИИ достигнет уровня интеллекта доктора наук

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Очень рад выпуску модели o1! Позвольте мне рассказать, почему: я только что закончил писать крупный проект по иммунотерапии рака за 3 дня благодаря o1-preview и GPT-4o, на что обычно у меня ушел бы месяц! Не могу дождаться, чтобы увидеть, что я смогу сделать с полной версией o1!

[внешняя ссылка]

Эксперимент показал, что даже лучшие БЯМ не понимают модели мира

Исследование, проведенное инженерами MIT, показало, что генеративный ИИ не понимает правила, по которым существует человеческий мир, и не умеет видеть в нем закономерности. Учёные обнаружили, что самые продвинутые большие языковые модели могут показывать отличные результаты, решая определенные задачи, такие как навигация по городу или предсказание ходов в играх, однако при малейшем изменении условий катастрофически теряют точность. Лучшим ИИ-продуктам оказалось не под силу понять даже логику простой настольной игры.

Команда исследователей из Массачусетского технологического института (MIT), Гарварда и Университета Корнелла проверила, как модели-трансформеры справляются с навигацией по Нью-Йорку. Ученые дали популярным ИИ-продуктам, таким как ChatGPT, задание построить маршрут по городу, используя пошаговые указания. На первых порах модели успешно решали задачу, предоставляя точные направления движения. Однако, когда учёные внесли изменения — например, перекрыли некоторые улицы и добавили объезды, — модели начали ошибаться. Исследователи отметили, что отключение всего 1\% улиц снизило точность навигации с почти 100\% до 67\%.

При восстановлении карты Нью-Йорка, которую модели построили на основе своих «знаний», учёные обнаружили множество ошибок: несуществующие улицы, кривые дороги, пересечения в неожиданных местах и случайные надземные переходы. Эти детали показывают, что модели создают скорее упрощенные и фрагментарные версии города, а не настоящую карту.

Чтобы глубже исследовать, как модели создают внутренние представления о задачах, исследователи разработали 2 новые метрики. Первая метрика, различение последовательностей (sequence distinction), оценивает, может ли модель распознать различие между двумя состояниями — например, между двумя разными расположениями фишек на доске в стратегической настольной игре «Отелло». Вторая метрика, сжатие последовательностей (sequence compression), помогает оценить, понимает ли модель, что одинаковые состояния требуют одних и тех же действий.

Интересный результат был получен при сравнении моделей, обученных на случайных последовательностях, и моделей, обученных на предсказаниях стратегий. Модели, тренированные на случайных данных, показали лучшие результаты в создании внутренней модели мира. Например, в игре Отелло такие модели смогли охватить больше вариантов ходов, включая редкие и необычные, которые опытные игроки избегают. Однако, несмотря на это, ни одна модель не смогла сформировать полностью согласованное представление о структуре города в задаче по навигации.

Эти выводы особенно важны для будущих исследований, так как БЯМ активно применяются в автоматизации производства, науке и здравоохранении. Для создания моделей, которые могут отражать реальные законы физики или биологии, необходимо больше, чем способность предсказать следующее слово.

[внешняя ссылка]