Forwarded from на Youtube уже больше 17ти лет!
Кто-то ещё будет смеяться над Михаилом Световым когда он рассказывает про обезумевшую русофобию пшеков?
Forwarded from на Youtube уже больше 17ти лет!
На Рыночной площади города Варшавы польские солдаты распяли мальчика - утверждает жительница Варшавы
gmanka
Photo
присоединяюсь к обсуждению хоумлаб в коментах
я думаю в будущем просто будет не нужно иметь датацентр дома как у пьюдипая чтобы гонять самые крутые локальные ллм
я уверен что через пару лет кризис памяти закончится, и я смогу апгрейднуть свой комп с моих текущих 48gb ram + 96gb zram до каких-нибудь 128gb ram + 256gb zram
даже щас вроде уже есть какие-то способы юзать ram как видеопамять (правда я в них вообще не шарю), в близжайшие годы я думаю это станет еще проще, и у нас у всех будут опенсорс локальные ллм на самых обычных домашних компах с амд видеокартами
я думаю в будущем просто будет не нужно иметь датацентр дома как у пьюдипая чтобы гонять самые крутые локальные ллм
я уверен что через пару лет кризис памяти закончится, и я смогу апгрейднуть свой комп с моих текущих 48gb ram + 96gb zram до каких-нибудь 128gb ram + 256gb zram
даже щас вроде уже есть какие-то способы юзать ram как видеопамять (правда я в них вообще не шарю), в близжайшие годы я думаю это станет еще проще, и у нас у всех будут опенсорс локальные ллм на самых обычных домашних компах с амд видеокартами
🤣7
тем более озу может производить любой рандомный китайский или индийский завод, которых в близжайшие пару лет станет в 10 раз больше, потому что для производства озу не нужны x86 лицензии как например для cpu
🤣6
Еръ Голям
Спилловер модели в RAM и сейчас из коробки работает в каком-нибудь llama.cpp. Проблема в том, что RAM это медленно и dense модели очень медленно работают на таких конфигах. MoE вот задизайнены чтобы сидеть в VRAM только частично, но они тупее своих собратьев…
может еще будут видеокарты с LPCAMM2 слотами как на фреймворк ноутах щас, будет вообще топ
🤣4