Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Фантастика... Яндекс Пэй поделились архитектурой своей аналитической платформы, которая обрабатывает 100+ ТБ в сутки.

Что у них в облаке:

10-12 ТБ данных ежедневно через Kafka и Debezium
1 ПБ в Object Storage - сырые данные
Greenplum + ClickHouse - основные хранилища
pache Spark + DataSphere - для аналитиков

Крутые фишки:

DataSphere - единое окно для аналитиков с соблюдением банковской безопасности
Spark-кластеры - распределённые вычисления для 100+ ТБ данных
DataLens - дашборды для продуктовых команд

Проблемы, которые решили:

Безопасность - ролевая модель через IAM
Производительность - ушли от устаревших версий Spark
Удобство - аналитики работают в ноутбуках, а не в консоли

У нас есть база 1 Тб для парсинга. Чистим регулярно, обычный MS SQL (лицензионный, замечу).

Русский ИТ бизнес
0/10 Открыть в Telegram

Комментарии (0)

  • Ut4J6
    фантастика тут ни при чем.
    этот тип архитектуры издревле называется "палп фикшен"
    • McConst
      Криминальное чтиво - если не ошибаюсь. Верно? Термин из названия фильма?
      • Ut4J6
        фильм назван в честь термина, в начале кина об этом говорится специально
        • McConst
          Да. Я помню, что там в начале чего-то поясняли, но за давностью лет забыл чего говорили.
          • Ut4J6
            фреймворко-дрочево это важный элемент архитектуры общества потребления

            элементы здесь скрепляются дешевыми текстами с перечнем актуальных в сезоне брендов
            • McConst
              За что наниматель платит, те услуги ему и оказывают. При чем тут потребление? Ну, бзики есть у всех, но это не значит, что фреймворки любят.
              • Ut4J6
                любят, не любят, не важно
                не носишь бренд не станешь своим, значт не получишь повышение работу и всяческое признание в тусовке
                • McConst
                  Не согласен... Ношение формы одежды, дресс-код, пионерский галстук - это аналоги из неайтишной сферы. Они не показатель общества потребления.
                  • Ut4J6
                    даже хозяин канала должен был держать ответ, когда с него спросили за кубер
                    • McConst
                      Вы не понимаете. Это другое 😊
                      • Ut4J6
                        почитаем дословно, ведь это пишет писатель, автор книг, серьезно:
                        у нас есть k8s но на нашем сервере. и когда я читаю что мы куда-то не дошли, у меня аж уши начинают сворачиваться. мда.

                        т.е. "у нас есть" и речь идет не о категории, а о бренде. Это потребление
                        • McConst
                          Вы цепляетесь к способу употребления слов носителем русского языка. Богатый русский язык и не такие выверты позволяет. У меня есть молоток - инструмент, которым я работаю.

                          У нас есть ксерокс. Это ещё бренд, или просто копир.
                          • Ut4J6
                            хорошо, раз русский язык позволяет, то напишу так:
                            здесь и сейчас автор канала восстановил социальный порядок, заявив что он не хуже других, предьявив в качестве обоснования обладание брендом
                            • McConst
                              Ну. Это скорее про эффективность работы. Я пользуюсь ксероксом, поэтому материал к дипломной собрал быстрее, чем чел, который статьи переписывал от руки. Речь поо инструмент. Я понял Макса в этом контексте.

                              Про потребление - это когда я пользуюсь Маком и андроиды говно. При этом в маке нет даже разъема для флешки от всего интернета.
                              • Ut4J6
                                про инструмент это когда обсуждались "облака" - категория. В таких случаях Макс сразу просит ИНН и разрушает статус собеседника через деньги, но как только речь заходит про бренды - ситуация меняется, тут деньгами статус не поправишь
                                • McConst
                                  Ну, он же не скрывает статус своей фирмы. 30 человек - это уже нормальная контора, которая кормит взвод и их семьи. Но платит для Питера мало. Пишет как есть.
                                  • Ut4J6
                                    Возвращаясь к яндексу - они перечисляют
                                    Kafka, Debezium, Object Storage, Greenplum, ClickHouse, Apache Spark, DataSphere, DataLens,IAM
                                    но что дает простое перечисленние кроме того, что они это "имеют"?
                                    И почему не указали эксель, ворд и файловый менеджер? Неужели не юзают?
                                    • McConst
                                      Это реклама сервисов яндекса. Переоцененно дорогих. Но он не пишет сколько за это платит. Я думаю, что он врёт и пользуется более дешевыми услугами. А яндекс ему заплатил за рекламу без маркировки.
                                      • s17471s
                                        это схема с собеса на джуна
                                        • Ut4J6
                                          скорее всего
                                      • Ut4J6
                                        они кричат - мы модные, мы свои в вашей тусовке
                                    • McConst
                                      Я думаю, что они этого не имеют. Кричит что яндекс охрененно дорогой по токенам и не замечает цен на другие более дорогие услуги? Так не бывает.
                                      • Ut4J6
                                        вообще яндекс это родина велосипедов
                                        поэтому им нужно сильно стараться, чтобы не отпугнуть специалистов
                                        • McConst
                                          Сбер тоже не отстает. У сбера есть аналог гитхаба, а у яндекса - нет.
                                          • Ut4J6
                                            я про программы для внутреннего использования, всю историю они их старались писать сами
                                          • mike_kozyakov
                                            Главное - что этот аналог гитхаба только для размещения репозитория в целях регистрации ПО в реестре. А работать в этом поделии - ну не.
                                            • McConst
                                              А работать в гитхабе не стрёмно? Когда в один день по решению владельца одномоментно могут закрыть доступ как это сделали сервисы типа wix?
                                              • mike_kozyakov
                                                Мне больше нравится gitlab. Нужно бы, конечно, заморочиться и переехать на self-host давно уже. Но чего-то все не доходят руки:)
                                                • McConst
                                                  А gitflic пробовали? Простой, слабее гитхаба, но для небольших проектов вроде неплохо
                                                  • Ut4J6
                                                    его купила астра, он закрытый и там нельзя было открыть репо
                                                    • mike_kozyakov
                                                      У Астры хорошая M&A стратегия, на мой взгляд. Неплохих проектов насобирали.
                                                      • Ut4J6
                                                        у них хотя бы долг меньше годовой прибыли, это уже достижение
                                                        • mike_kozyakov
                                                          Ну, у них чистый долг/скорр EBITDA, я смотрю, вообще сильно ниже 1, это прям хороший показатель
                                                          • mike_kozyakov
                                                            Почитал, за счет чего EBITDA скорректированная. Ну неплохая такая у них мотивация:)
                                                  • mike_kozyakov
                                                    Не пробовал, у меня, в основном, они не очень маленькие. Плюс ci/cd перенастраивать. В gitlab прикольно этот момент реализован.
                                        • McConst
                                          Я как-то тестил ЯндексГПТ, случайно врубил вирт. машину и только через сутки по балансу понял что чёто не то. Бабла за простой съело больше чем ща всё время использования токенов.
                                          • Ut4J6
                                            я только тарифы посмотрел и решил, что лохотрон
                                            • McConst
                                              Ну вот. И я к этому выводу пришел. Поэтому не принимаю текст Макса за чистую монету. Его жаба сразу убьёт.
                                              • Ut4J6
                                                текст просто странный, особенно с учетом того, что яндекс не скрывал никогда что сам себе пишет программы
                                                • McConst
                                                  Да. Но если это реклама сервисов яндекса, тогда мотив текста понятен - бабло.
                                                  • Ut4J6
                                                    бля, ну а я о чем
                                                    просто в обществе потребления нельзя просто написать бабло-бадло
                                                    • McConst
                                                      Потребитель бабло тратит, а Макс его копит.
                                                      • Ut4J6
                                                        это уже перестало иметь значение, потому что решает не умение заработать, а умение брать кредиты и изображать активность
                  • Ut4J6
                    а вот если бы был пионерский галстук адидас?
                • Ut4J6
                  даже хозяин канала должен был держать ответ, когда с него спросили за кубер
    • McConst
      Comment media
  • McConst
    Это чё? Реклама яндекса без маркировки? Вы ценники забыли озвучить за пользование их облаками в месяц.