- Telega FM

Русский ИТ бизнес

28 окт 2025 19:27

Фантастика... Яндекс Пэй поделились архитектурой своей аналитической платформы, которая обрабатывает 100+ ТБ в сутки.

Что у них в облаке:

10-12 ТБ данных ежедневно через Kafka и Debezium
1 ПБ в Object Storage - сырые данные
Greenplum + ClickHouse - основные хранилища
pache Spark + DataSphere - для аналитиков

Крутые фишки:

DataSphere - единое окно для аналитиков с соблюдением банковской безопасности
Spark-кластеры - распределённые вычисления для 100+ ТБ данных
DataLens - дашборды для продуктовых команд

Проблемы, которые решили:

Безопасность - ролевая модель через IAM
Производительность - ушли от устаревших версий Spark
Удобство - аналитики работают в ноутбуках, а не в консоли

У нас есть база 1 Тб для парсинга. Чистим регулярно, обычный MS SQL (лицензионный, замечу).

Русский ИТ бизнес

👍 0

Экологичный Священник 2025-10-28 19:30

фантастика тут ни при чем.
этот тип архитектуры издревле называется "палп фикшен" Ответить

раскрыть ветку (45)
- Океанический Гоблин 2025-10-28 22:20
  
  Криминальное чтиво - если не ошибаюсь. Верно? Термин из названия фильма? Ответить
  
  раскрыть ветку (43)
  - Экологичный Священник 2025-10-28 22:24
    
    фильм назван в честь термина, в начале кина об этом говорится специально Ответить
    
    раскрыть ветку (42)
    - Океанический Гоблин 2025-10-28 22:25
      
      Да. Я помню, что там в начале чего-то поясняли, но за давностью лет забыл чего говорили. Ответить
      
      раскрыть ветку (41)
      - Экологичный Священник 2025-10-28 22:33
        
        фреймворко-дрочево это важный элемент архитектуры общества потребления
        
        элементы здесь скрепляются дешевыми текстами с перечнем актуальных в сезоне брендов Ответить
        
        раскрыть ветку (40)
        
        Океанический Гоблин 2025-10-28 22:35
        
        За что наниматель платит, те услуги ему и оказывают. При чем тут потребление? Ну, бзики есть у всех, но это не значит, что фреймворки любят. Ответить
        
        раскрыть ветку (39)
        
        Экологичный Священник 2025-10-28 22:38
        
        любят, не любят, не важно
        не носишь бренд не станешь своим, значт не получишь повышение работу и всяческое признание в тусовке Ответить
        
        раскрыть ветку (38)
        
        Океанический Гоблин 2025-10-28 22:40
        
        Не согласен... Ношение формы одежды, дресс-код, пионерский галстук - это аналоги из неайтишной сферы. Они не показатель общества потребления. Ответить
        
        раскрыть ветку (36)
        
        Экологичный Священник 2025-10-28 22:40
        
        даже хозяин канала должен был держать ответ, когда с него спросили за кубер Ответить
        
        раскрыть ветку (34)
        
        Океанический Гоблин 2025-10-28 22:42
        
        Вы не понимаете. Это другое 😊 Ответить
        
        раскрыть ветку (33)
        
        Экологичный Священник 2025-10-28 22:48
        
        почитаем дословно, ведь это пишет писатель, автор книг, серьезно:
        
        у нас есть k8s но на нашем сервере. и когда я читаю что мы куда-то не дошли, у меня аж уши начинают сворачиваться. мда.
        т.е. "у нас есть" и речь идет не о категории, а о бренде. Это потребление Ответить
        
        раскрыть ветку (32)
        
        Океанический Гоблин 2025-10-28 22:54
        
        Вы цепляетесь к способу употребления слов носителем русского языка. Богатый русский язык и не такие выверты позволяет. У меня есть молоток - инструмент, которым я работаю.
        
        У нас есть ксерокс. Это ещё бренд, или просто копир. Ответить
        
        раскрыть ветку (31)
        
        Экологичный Священник 2025-10-28 22:57
        
        хорошо, раз русский язык позволяет, то напишу так:
        здесь и сейчас автор канала восстановил социальный порядок, заявив что он не хуже других, предьявив в качестве обоснования обладание брендом Ответить
        
        раскрыть ветку (30)
        
        Океанический Гоблин 2025-10-28 23:04
        
        Ну. Это скорее про эффективность работы. Я пользуюсь ксероксом, поэтому материал к дипломной собрал быстрее, чем чел, который статьи переписывал от руки. Речь поо инструмент. Я понял Макса в этом контексте.
        
        Про потребление - это когда я пользуюсь Маком и андроиды говно. При этом в маке нет даже разъема для флешки от всего интернета. Ответить
        
        раскрыть ветку (29)
        
        Экологичный Священник 2025-10-28 23:10
        
        про инструмент это когда обсуждались "облака" - категория. В таких случаях Макс сразу просит ИНН и разрушает статус собеседника через деньги, но как только речь заходит про бренды - ситуация меняется, тут деньгами статус не поправишь Ответить
        
        раскрыть ветку (28)
        
        Океанический Гоблин 2025-10-28 23:14
        
        Ну, он же не скрывает статус своей фирмы. 30 человек - это уже нормальная контора, которая кормит взвод и их семьи. Но платит для Питера мало. Пишет как есть. Ответить
        
        раскрыть ветку (27)
        
        Экологичный Священник 2025-10-28 23:18
        
        Возвращаясь к яндексу - они перечисляют
        Kafka, Debezium, Object Storage, Greenplum, ClickHouse, Apache Spark, DataSphere, DataLens,IAM
        но что дает простое перечисленние кроме того, что они это "имеют"?
        И почему не указали эксель, ворд и файловый менеджер? Неужели не юзают? Ответить
        
        раскрыть ветку (26)
        
        Океанический Гоблин 2025-10-28 23:20
        
        Это реклама сервисов яндекса. Переоцененно дорогих. Но он не пишет сколько за это платит. Я думаю, что он врёт и пользуется более дешевыми услугами. А яндекс ему заплатил за рекламу без маркировки. Ответить
        
        раскрыть ветку (3)
        
        Терпеливый Монстр 2025-10-28 23:21
        
        это схема с собеса на джуна Ответить
        
        раскрыть ветку (1)
        
        Экологичный Священник 2025-10-28 23:21
        
        скорее всего Ответить
        
        Экологичный Священник 2025-10-28 23:22
        
        они кричат - мы модные, мы свои в вашей тусовке Ответить
        
        Океанический Гоблин 2025-10-28 23:22
        
        Я думаю, что они этого не имеют. Кричит что яндекс охрененно дорогой по токенам и не замечает цен на другие более дорогие услуги? Так не бывает. Ответить
        
        раскрыть ветку (21)
        
        Экологичный Священник 2025-10-28 23:24
        
        вообще яндекс это родина велосипедов
        поэтому им нужно сильно стараться, чтобы не отпугнуть специалистов Ответить
        
        раскрыть ветку (20)
        
        Океанический Гоблин 2025-10-28 23:25
        
        Сбер тоже не отстает. У сбера есть аналог гитхаба, а у яндекса - нет. Ответить
        
        раскрыть ветку (11)
        
        Экологичный Священник 2025-10-28 23:26
        
        я про программы для внутреннего использования, всю историю они их старались писать сами Ответить
        
        Сквознячный Судья 2025-10-28 23:27
        
        Главное - что этот аналог гитхаба только для размещения репозитория в целях регистрации ПО в реестре. А работать в этом поделии - ну не. Ответить
        
        раскрыть ветку (9)
        
        Океанический Гоблин 2025-10-28 23:30
        
        А работать в гитхабе не стрёмно? Когда в один день по решению владельца одномоментно могут закрыть доступ как это сделали сервисы типа wix? Ответить
        
        раскрыть ветку (8)
        
        Сквознячный Судья 2025-10-28 23:35
        
        Мне больше нравится gitlab. Нужно бы, конечно, заморочиться и переехать на self-host давно уже. Но чего-то все не доходят руки:) Ответить
        
        раскрыть ветку (7)
        
        Океанический Гоблин 2025-10-28 23:37
        
        А gitflic пробовали? Простой, слабее гитхаба, но для небольших проектов вроде неплохо Ответить
        
        раскрыть ветку (6)
        
        Экологичный Священник 2025-10-28 23:37
        
        его купила астра, он закрытый и там нельзя было открыть репо Ответить
        
        раскрыть ветку (4)
        
        Сквознячный Судья 2025-10-28 23:47
        
        У Астры хорошая M&A стратегия, на мой взгляд. Неплохих проектов насобирали. Ответить
        
        раскрыть ветку (3)
        
        Экологичный Священник 2025-10-28 23:50
        
        у них хотя бы долг меньше годовой прибыли, это уже достижение Ответить
        
        раскрыть ветку (2)
        
        Сквознячный Судья 2025-10-28 23:57
        
        Ну, у них чистый долг/скорр EBITDA, я смотрю, вообще сильно ниже 1, это прям хороший показатель Ответить
        
        раскрыть ветку (1)
        
        Сквознячный Судья 2025-10-29 00:00
        
        Почитал, за счет чего EBITDA скорректированная. Ну неплохая такая у них мотивация:) Ответить
        
        Сквознячный Судья 2025-10-28 23:38
        
        Не пробовал, у меня, в основном, они не очень маленькие. Плюс ci/cd перенастраивать. В gitlab прикольно этот момент реализован. Ответить
        
        Океанический Гоблин 2025-10-28 23:28
        
        Я как-то тестил ЯндексГПТ, случайно врубил вирт. машину и только через сутки по балансу понял что чёто не то. Бабла за простой съело больше чем ща всё время использования токенов. Ответить
        
        раскрыть ветку (7)
        
        Экологичный Священник 2025-10-28 23:30
        
        я только тарифы посмотрел и решил, что лохотрон Ответить
        
        раскрыть ветку (6)
        
        Океанический Гоблин 2025-10-28 23:31
        
        Ну вот. И я к этому выводу пришел. Поэтому не принимаю текст Макса за чистую монету. Его жаба сразу убьёт. Ответить
        
        раскрыть ветку (5)
        
        Экологичный Священник 2025-10-28 23:34
        
        текст просто странный, особенно с учетом того, что яндекс не скрывал никогда что сам себе пишет программы Ответить
        
        раскрыть ветку (4)
        
        Океанический Гоблин 2025-10-28 23:35
        
        Да. Но если это реклама сервисов яндекса, тогда мотив текста понятен - бабло. Ответить
        
        раскрыть ветку (3)
        
        Экологичный Священник 2025-10-28 23:36
        
        бля, ну а я о чем
        просто в обществе потребления нельзя просто написать бабло-бадло Ответить
        
        раскрыть ветку (2)
        
        Океанический Гоблин 2025-10-28 23:37
        
        Потребитель бабло тратит, а Макс его копит. Ответить
        
        раскрыть ветку (1)
        
        Экологичный Священник 2025-10-28 23:39
        
        это уже перестало иметь значение, потому что решает не умение заработать, а умение брать кредиты и изображать активность Ответить
        
        Экологичный Священник 2025-10-28 22:42
        
        а вот если бы был пионерский галстук адидас? Ответить
        
        Экологичный Священник 2025-10-28 22:40
        
        даже хозяин канала должен был держать ответ, когда с него спросили за кубер Ответить
- Океанический Гоблин 2025-10-28 22:23
  
  Ответить
Океанический Гоблин 2025-10-28 22:19

Это чё? Реклама яндекса без маркировки? Вы ценники забыли озвучить за пользование их облаками в месяц. Ответить