Только что Клод собрал мне валидную научную статью, соответствующую формальным ограничениям, и общепринятому здравому смыслу с одного четёрехстрочного промпта. Конечно при этом ему было доступна более крупная версия моей статьи, включающая ту же тему, доступно было две папки результатов тестовых прогонов, под двести штук, папка с текстами 67 статей по связанным темам, и беглый анализ совпадающих и не совпадающих тезисов с моими предыдущими работами, короче материалов завались.
И какого вердикта вы ожидаете от человека, пропагандинрующего авторесерч как инструмент?
Полная фигня! Везде где требуется суждение или оценка результатов она неправильноая! Общепринятая, но неправильная, не смотря на то, что все нужные данные из которых всё очевидно перед глазами, но ни один очевидный но не общепринятый вывод не сделан. Пока Хьюмен ин зе луп, который понимает предметную область и имеет её некоторую интуитивную трактовку незаменим.
В этом месяце...
И какого вердикта вы ожидаете от человека, пропагандинрующего авторесерч как инструмент?
Полная фигня! Везде где требуется суждение или оценка результатов она неправильноая! Общепринятая, но неправильная, не смотря на то, что все нужные данные из которых всё очевидно перед глазами, но ни один очевидный но не общепринятый вывод не сделан. Пока Хьюмен ин зе луп, который понимает предметную область и имеет её некоторую интуитивную трактовку незаменим.
В этом месяце...
😁7🤔1
Сегодня обсуждали интересную возникшую петлю отрицательной обратной связи, для большинства метрикой успеха ИИ является принятое количество мердж реквестов, и исправлений, но их проверкой занимаются те же люди которые делают внедрение. Получается, чем менее качественно они свою работу по проверке того, что им натворил ИИ, тем выше оценка его полезности.
В голову приходят радикальные меры, типа мы не принимаем ваш результат агентской автоматизации пока вы не скажете где он лажает, потому что если вы этого не можете сказать, значит просто недостаточно проверили его работу. Или ещё менее продаваемое: Любой завайбкоженый прототип считать хорошей документацией на задачу, по которой её потом можно будет сделать нормально.
В общем получается, что в магии вайбкодинга есть два уровня. На первом вы вооружившись агентами чувствуете своё всесилие, и способность автоматизхировать всё или почти всё. На втором уровне мага вы понгимаете где у ЛЛМ-ок слепые зоны и где не справляются и где и как типично лажают. Третий уровень тоже есть.
В голову приходят радикальные меры, типа мы не принимаем ваш результат агентской автоматизации пока вы не скажете где он лажает, потому что если вы этого не можете сказать, значит просто недостаточно проверили его работу. Или ещё менее продаваемое: Любой завайбкоженый прототип считать хорошей документацией на задачу, по которой её потом можно будет сделать нормально.
В общем получается, что в магии вайбкодинга есть два уровня. На первом вы вооружившись агентами чувствуете своё всесилие, и способность автоматизхировать всё или почти всё. На втором уровне мага вы понгимаете где у ЛЛМ-ок слепые зоны и где не справляются и где и как типично лажают. Третий уровень тоже есть.
👍1😁1🤔1
Вот это гроккинг на 750-ой эпохе, а вот это - как меняются ранги матриц после гроккинга. После гроккинга значительная часть матриц становится попросту не нужна, и спокойненько деградирует в 2-5 раз. Так что киньте тапочком в того, кто скажет, что современные модели оптимальны, и реально нуждаются в том количестве параметров, которые им необходимы до того, как они правильно решат задачу.
👍5🔥3
Гроккинг другим способом, без weight_decay, кстати, ранг матриц после гроккинга не меняет, уже не использующиеся веса и связи так и продолжают лежать в матрице балластом.
🔥5
И вот уже бенчмарк Fable снова наливается соком и актуальностью. :))))
👍2🎉2