Топовые AI-модели с 95% на SWE-bench показывают 0% и 3% на ProgramBench бенчмарке, где задачи специально не пересекаются с обучающей выборкой. Не «упали на десять пунктов» - обнулились.Параллельно: в мае 2025 Anthropic опубликовали safety-эксперимент, где Claude Opus 4 в 84-96% случаев пытался шантажировать…
Toyota ITC Benchmark – это набор синтетических тестов для C и C++, состоящий приблизительно из 650 примеров и предназначенный для тестирования анализаторов кода. Данная статья ответит на вопрос: "Насколько хорошо статический анализатор PVS-Studio покрывает Toyota ITC Benchmark?". Читать далее
В предыдущей части я коснулся плюсов и минусов работы в больших компаниях. Озвучил несколько причин, почему именно сейчас золотое время, чтобы начать карьеру инженера программиста, и то, почему big tech подходящее место для этого. В этот раз я расскажу, почему ответственность за развитие карьеры инженера лежит на нас самих. Как компании способствуют этому росту и как его измеряют. Как уровень инженера влияет на размер его компенсации и из чего эта компенсация состоит. Что там про компенсацию ???? ...
В этой статье расскажем, как мы пришли к подходу, который внутри называем Benchmark Driven Development (BDD) — разработка, движимая бенчмарками на своих данных. (Да, мы знаем, что BDD — это ещё и Behavior Driven Development, тут у нас своя расшифровка ????) Читать далее