Присоединяйтесь к нам
big data
«Пользуетесь дашбордами? Нет, только смотрим»: объясняем дата-анализ на мемах, понятных каждому
Казалось бы, как можно из такой фановой темы как мемы, рассказывать о серьезных вещах вроде Data Analysis и Business Intelligence? На самом деле сложные понятия и процессы довольно просто объясняются мемами. Понятный всем формат шуток помогает разобраться во многих аспектах Data-анализа. Как именно — узнаем из лекции о Data Analysis, которая состоялась в рамках IT-конференции NIX Multiconf.
Спрос на дата-инженеров вырастет: рассказываем, какую технологию сейчас изучать лучше всего
Объем информации в онлайне постоянно растет. Только представьте: ежедневно пользователи по всему миру создают 500 млн твитов, 294 млрд мейлов, 4 млн гигабайт данных в Facebook и 65 млн сообщений в WhatsApp. Вместе с тем возникает потребность в безопасном хранении, быстром обмене и качественном анализе информации. Справиться с этим помогает модель управления данными — Data as a Service.
Корзина, полная змей: обзор популярных модулей и библиотек Python для Data Science
Это большой обзорный пост, который поможет новичкам быстро сориентироваться в дебрях терминологии Data Science. Мы последовательно опишем все основные модули, библиотеки и утилиты, которые должен знать любой, претендующий на изучение больших данных. Наука о данных еще никогда не была так доступна, как с приходом великолепных инструментов на базе Python.
«Я один из дураков, которые остались бы в IT, забери оттуда все деньги»: как попасть на работу в Apple — опыт украинского разработчика
Чтобы построить хорошую карьеру в IT и попасть в престижную компанию, не обязательно «нырять» в индустрию с головой при первой же возможности. Опыт Data Engineer в Apple Ивана Ласийчука показал, что важно и получить высшее образование, и при необходимости делать перерывы в карьере. Он рассказал, как устроился на работу в Apple, чем американская компания лучше украинских аутсорсов и как переехать в США, даже если иностранные языки даются тебе плохо.
«Работайте или проваливайте»: глава Xsolla объяснил массовые увольнения и намекнул на бонусы для сотрудников
Основатель и СЕО Xsolla Александр Агапитов принял решение уволить 10% сотрудников компании с самыми низкими зарплатами, потому что с их уходом «ничего не изменится».
«Хотите жить в современном мире, смиритесь, что конфиденциальности не существует»: познакомьтесь с компанией, которая решает, получите ли вы кредит, и знает, за кого вы голосуете на выборах
Как вы думаете, как банки решают, дать ли вам кредит? 20 лет назад они смотрели кредитную историю. Сейчас — им достаточно ваших комментариев в Facebook. А собирает и анализирует для них эти данные компания Artellence.
Как чемпион мира по игре в го проиграл нейросети и при чем здесь современные видеоигры
Индустрия GameDev начиналась с 8-битного Mario и Sonic. Сейчас же это настоящие экосистемы, которые визуально не уступают кинофильмам. Это виртуальные миры, созданные руками людей.
Использование AggregatingMergeTree в Clickhouse
Даже колоночные базы данных, вроде Clickhouse, сталкиваются с проблемами слишком большого количества данных и слишком медленных запросов. Для таких случаев используют методики агрегирования данных, что позволяет экономить место и упрощать выборки.
JOIN нескольких таблиц в Clickhouse
Поддержка JOIN’ов в Clichouse ограничена. Кроме непривычной работы самого объединения, есть еще и ограничение на последовательное объединение только двух таблиц:
Работа с JOIN в Clickhouse
Clickhouse поддерживает JOIN таблиц с несколькими нюансами. Синтаксис привычный:
Выгрузка данных из Google Analytics
Если вам необходимо выгружать данные из Google Analytics, можно воспользоваться обычным HTTP протоколом. В отличие от родных библиотек, для выгрузки больших объемов данных, это может быть более производительным решением.
Использование индексов в Clickhouse
Clickhouse — это колоночная база данных от Яндекс. База специально разработана для аналитических задач на больших объемах.
Удаление и обновление данных в Clickhouse
В Clickhouse нет поддержки удалений и обновлений. Однако существует большое [https://ruhighload.com/doc/clickhouse/ количество движков] для разных задач.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: