Присоединяйтесь к нам
Работа с данными
Парсинг данных с сайтов: что это и на чьей стороне закон
Внедрение Big Data в разные сферы человеческой деятельности полностью изменило наше восприятие бизнеса и технологий. Появилась необходимость использования специальных инструментов для извлечения, анализа и обработки огромных объемов данных.
Мир на пороге квантовой революции: какие у нас перспективы и что нужно знать о квантовых вычислениях
Привет! Меня зовут Сергей Пащенко, я Data Engineer в NIX и спикер IT-конференции NIX Multiconf. Я большой фанат машинного обучения, Data Science и дата-инженерии в целом. Сегодня для меня уже очевидно, что будущее за квантовыми вычислениями.
«Пользуетесь дашбордами? Нет, только смотрим»: объясняем дата-анализ на мемах, понятных каждому
Казалось бы, как можно из такой фановой темы как мемы, рассказывать о серьезных вещах вроде Data Analysis и Business Intelligence? На самом деле сложные понятия и процессы довольно просто объясняются мемами. Понятный всем формат шуток помогает разобраться во многих аспектах Data-анализа. Как именно — узнаем из лекции о Data Analysis, которая состоялась в рамках IT-конференции NIX Multiconf.
Спрос на дата-инженеров вырастет: рассказываем, какую технологию сейчас изучать лучше всего
Объем информации в онлайне постоянно растет. Только представьте: ежедневно пользователи по всему миру создают 500 млн твитов, 294 млрд мейлов, 4 млн гигабайт данных в Facebook и 65 млн сообщений в WhatsApp. Вместе с тем возникает потребность в безопасном хранении, быстром обмене и качественном анализе информации. Справиться с этим помогает модель управления данными — Data as a Service.
Лучшие книги по Data Science: топ-8 пособий, чтобы прокачаться в науке о данных
По данным DOU, одни из самых высоких зарплат в украинском IT сейчас — в Data Science. В топе по спросу — тоже дата-сайентисты. И один из самых высоких приростов по доходам за последние полгода — сюрприз-сюрприз — тоже у них.
Как начать карьеру в Data Science: пять реальных историй
Привет! Меня зовут Александра Богуславская, я СЕО и Founder в Data Science UA. В течение пяти лет наша компания построила сильное комьюнити в этой сфере: организовывает конференции и курсы, активно развивает направления консалтинга и R&D, открывает AI R&D-центры в Украине для партнеров из Европы и США.
Что такое большие данные: коротко о главном
Вы никогда не задумывались над тем, как много новой информации появляется ежедневно в интернете? Простейшие события, скажем, открыли страничку Facebook или просто проверили поступившую почту на ящик Gmail — ведут к увеличению объема данных. Это огромное количество информации, которая где-то записывается, растет и растет.
Работал на Большом адронном коллайдере, а теперь — дата-инженер в Ciklum: история айтишника с PhD в квантовой физике
Станислав Сучек — IT-свитчер. Но свитчнулся он из области куда сложнее, чем IT. Посудите сами: Станислав получил докторскую степень в квантовой физике и работал на Большом адронном коллайдере (БАК)!
Специалистам по Machine Learning платят больше, чем разработчикам: как им стать, нужна ли математика и другие ответы от эксперта
На канале основателя школы программирования FoxmindEd Сергея Немчинского вышел стрим с Павлом Галушко. Павел — Tech Lead команды разработки для машинного обучения в Namecheap. На стриме он ответил на самые актуальные вопросы про Machine Learning. Причем (что редко бывает) — кратко и понятно.
Без SQL: учимся работать с данными на Elasticsearch
Elasticsearch — это поисковый и аналитический движок, с помощью которого ваша команда может быстро искать информацию в любых типах данных и анализировать их.
MS SQL, не болей: 10 причин, почему не устанавливается Microsoft SQL Server (и что с этим делать)
Все сделали по инструкции, но MS SQL Server все равно бунтует? Можно пойти на какой-нибудь форум и пожаловаться там.
Элемент случайности: как использовать модуль random в Python
Модуль random в Python дает возможность генерировать случайные числа и выбирать случайные элементы из списка. Но давайте обо всем по порядку.
Решения на NoSQL базах
В этой статье рассмотрим принципы решения типичных задач в key-value базах данных.
Горизонтальный шардинг
Так или иначе возникает ситуация, когда на сервере базы данных со временем приходится работать с огромными таблицами.
Как скопировать выбранные ключи Redis на другой сервер?
[https://redis.io/ Redis] – простое, быстрое и удобное key-value хранилище данных. При масштабирование любого приложения возникает необходимость переноса данных между серверами. Иногда не нужно переносить всю базу, а только несколько выбранных ключей.
Денормализация данных
Нормальная форма хранения данных предполагает избегания дублирования данных. Ключевых правила два:
Ребалансировка данных при шардинге
При шардинге неизбежно возникает необходимость перебалансировать данные. Точно предсказать рост объема и формы данных практически невозможно. Поэтому ребалансировка данных – такая же систематическая операция, как и хранение данных. Ее нужно планировать на этапе проектирования, а не на этапе администрирования.
Вертикальный шардинг
Обычно Web приложения работают с одним сервером базы данных. Почти всегда приложение использует более одной таблицы.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: