### Один пост со всей ключевой информацией про AI
Я неделю назад впервые за 4 года выступил на русском языке и с удивлением встретил много вопросов от знакомых в стиле «А какие есть реальные применения для AI?» и «Ну я пробовал оно чото не работает». К счастью, я знаю как упаковать всё самое важное про AI в один пост.
- Откуда экспертиза: Я живу в СФ, делаю стартап на стыке LLM, компьютерного зрения и агентов. У нас коллабы со всеми лидерами AI, включая OpenAI. Мы треним свои очень крутые модели для узких индустриальных кейсов. У нас куча датки и гпу.
TLDR - AI сегодня это инструмент для инженеров, с помощью которого очень дешево создают высокоэффективные узкие микросервисы для решения бизнес-задач. Чем больше компания, тем больше будет выхлоп. Деньги здесь.
Ниже коротко о том, что происходит сегодня, что будет происходить завтра, и немного популярных заблуждений.
## Вот как ситуация выглядит сегодня:
1. AI модели очень быстро умнеют. Если вы пробовали что-то год назад, и оно не работало, возможно сегодня уже работает. А если сегодня не работает, то заработает завтра.
2. «Модели» не равно «продукты». Большинство AI моделей — это очень мощный инструмент, которым можно улучшить любой бизнес-процесс. Но для использования его нужны инженерные навыки.
3. Почему так мало успешных коробочных B2B AI продуктов? Потому что инжиниринг собственных решений с использованием AI намного дешевле и эффективнее покупки любых коробочных решений. См. Klarna отказалась от Salesforce в пользу сервисов сгенерированных с помощью AI.
4. Больше всего выигрывают корпорации, которые тратят сотни миллионов долларов на операционку с огромным легаси процессов, документов, кода, и данных.
5. Прямо сейчас ~30% всех S&P 500 компаний нанимают пачками AI инженеров, чтобы они выпиливали коробочные SaaS и замещали их кастомными AI решениями.
6. «Кастомные AI решения» это в том числе и решения, при разработке которых был активно использован AI. Например, вашей компании нужно инвойсы из пдф-ок заносить в базу данных. Вместо того чтобы покупать готовый сервис, вы просите AI разработать вам соответствующий микросервис. Через 2 часа в вашем AWS задеплоен ColQwen2 с нужными промптами.
7. Собственно, основное применение для AI сейчас: использовать большие и умные модели чтобы быстро разрабатывать небольшие и очень узкоспециализированные сервисы для решения операционных задач с использованием более слабых моделей, либо вообще без AI.
8. Большие модели также используют для анализа больших массивов информации, автоматизации сложных процессов, и исследований.
Где AI сегодня может помочь любой компании любого размера:
- Сгенерировать собственные микросервисы и выкинуть все подписочные сервисы
- Построить автоматизацию везде где есть документооборот и операционка с данными
- Сделать очень мощное исследование для принятия стратегических решений
- Переварить неструктурированную информацию в структурированную информацию
## Что будет завтра:
1. Правило большого пальца — если consumer AI продукт работает через чат, значит рано или поздно он будет убит новой фичей ChatGPT.
2. Consumer AI может жить если у продукта есть социальные механики, доступ к действительно уникальным данным (например, медицинские записи), или если сервис недоступен публичным компаниям (например, adult).
3. Новый вид коробочных b2b продуктов — агенты с высоким уровнем автономности. Больше всего выиграют небольшие компании с небольшим штатом. Я думаю, сравнимо с моментом, когда Тильда + Инста + Реклама в середине 10-х, когда расцвели небольшие бутиковые бизнесы.
## Заблуждения:
1. Если AI не может посчитать количество букв “r” в слове “strawberry”, то более сложные задачи ему доверять нельзя.

AI тренируют и проверяют на тех задачах, за которые условный J.P.Morgan может заплатить $1млрд в год. В перечень этих задач не входит подсчет букв с словах, ответы на софистические задачки из детского лагеря, рассуждения о философских идеях венгерских социалистов, и проверки фактов из серии «кто такой Никита Широбоков».
2. AI генерирует слова друг за другом, он не понимает смысл сказанного и не может быть частью надежной системы.
Атомная электростанция это просто водяной пар крутит турбину. Ракета Falcon это просто струя толкает цистерну. Макбук это просто нолики и единички которые включают и выключают маленькие лампочки. Иногда очень простые вещи могут быть фундаментом грандиозных по сложности решений.
3. «А вот я читал в отчёте от этого эксперта…»
Вы читали не отчеты, а посты каких-то чуваков, которые за вас прочитали отчёты. Когда летом вышел отчёт Goldman Sachs, в котором были представлены прогнозы и скептиков, и оптимистов, в постах цитировали только скептиков. Никто, конечно, не цитировал положительный отчет McKinsey. Никто не цитировал очень оптимистичный отчет Deloitte. Никто не цитировал экзекьютивов f100, которые на earning calls объявили о начале 9 figure инвестиций во внутренние AI разработки.
Большая часть скептиков банально расстроена тем что приходится наблюдать за AI вечеринкой в стороне. Вот и приходиться бурчать.

— Какие события будут в ближайший месяц по теме AI?
— <здесь система что-то отвечает>
— А какие из них оффлановые?
— <здесь обычно всё ломается, если нет поддержки истории переписки>

В далеком лесу жил-был медведь по имени Гриша. У Гриши было все, о чем мог мечтать медведь: вкусные ягоды, уютная берлога и множество друзей. Но однажды, услышав от лесных жителей о чудесной вещи под названием "GPU карта", Гриша решил, что хочет ее иметь, чтобы стать еще и гением компьютерного мира.

GPU карта - это особенная карта, которая помогает обрабатывать очень сложные вычисления, особенно полезные для игр и создания компьютерных фильмов. Гриша подумал, что если у него будет такая карта, он сможет делать удивительные вещи и даже научиться создавать свои собственные игры и фильмы.

Сначала Гриша пытался найти GPU карту в лесу, но быстро понял, что это невозможно. Он обратился за помощью к волшебнику, живущему на дальней горе. Волшебник был удивлен желанием медведя и предложил ему пройти испытания, чтобы заслужить такую невероятную вещь.

Испытания были разные: от умения быстро считать до создания самого вкусного медвежьего пирога. Гриша старался изо всех сил и в итоге прошел все испытания. Волшебник был впечатлен трудолюбием Гриши и подарил ему волшебную GPU карту.

С_GPU картой в лапах Гриша стал не только медведем, который может делать невероятные вещи, но и стал наставником для других животных леса, показывая им, как можно использовать современные технологии для достижения своих целей. Лес жил в мире и согласии, а Гриша продолжал учиться новому и делиться своими знаниями и опытом со всеми жителями леса.

Таким образом, Гриша научил всех, что с помощью упорства и желания учиться можно достичь невероятного. И все жители леса жили долго и счастливо, создавая свои собственные истории и мечты.

from openai import OpenAI
import tiktoken
enc = tiktoken.get_encoding("o200k_base")

# Run the request with the blocked logit_bias
client = OpenAI()

block_words = "Let's delve into"
block_tokens = enc.encode(block_words)
print(f"{block_words} => {block_tokens}")

# ban the tokens
logit_bias = {}
for token in block_tokens:
    logit_bias[str(token)] = -100

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Output the exact phrase \"Let's delve into the topic\"."},
    ],
    logit_bias=logit_bias,
    max_tokens=100

)

print("Result:", response.choices[0].message.content)
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Tell me a story."}],
    logprobs=True,
    top_logprobs=5
)

"Жили у бабуси два веселых гуся. Один - серый, а другой - белый. Два веселых гуся."

from openai import OpenAI
from typing import List, Optional, Dict
from pydantic import BaseModel, Field

# use your favorite inference server
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

input_text = "Жили у бабуси два веселых гуся. Один - серый, а другой - белый. Два веселых гуся."

# define the data schema
class Attribute(BaseModel):
    name: str = Field(..., description="Name of the attribute")
    value: str = Field(..., description="Value of the attribute")

class Creature(BaseModel):
    name: Optional[str] = Field(None, description="Name of the identified creatures")
    attributes: Optional[List[Dict[str, str]]] = Field(None, description="List of attribute key-value pairs")

class ExtractedCreatures(BaseModel):
    entities_and_attributes: List[Creature] = Field(default_factory=list, description="List of extracted creatures")

# command the model to extract data using the data schema
messages = [
        {"role": "system", "content": """
Extract all creatures and their characteristics from the user text according to the specified schema.   
"""},
        {"role": "user", "content": input_text}
]

print("Executing...")
completion=client.beta.chat.completions.parse(
    model="not-needed",
    temperature=0.1,
    messages=messages,
    response_format=ExtractedCreatures
)

print("Result:")
# get the results as a dictionary
parsed_dict = completion.choices[0].message.parsed

# output the results as a JSON string
print(parsed_dict.model_dump_json(indent=2, exclude_none=True))