Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами

Big Data ΠΎΡ‚ А Π΄ΠΎ Π―. Π§Π°ΡΡ‚ΡŒ 1: ΠŸΡ€ΠΈΠ½Ρ†ΠΈΠΏΡ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΠ° MapReduce

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π€ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами

ΠŸΡ€ΠΈΠ²Π΅Ρ‚, Π₯Π°Π±Ρ€! Π­Ρ‚ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΡ‘ΠΉ я ΠΎΡ‚ΠΊΡ€Ρ‹Π²Π°ΡŽ Ρ†ΠΈΠΊΠ» ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ², посвящённых Ρ€Π°Π±ΠΎΡ‚Π΅ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ. Π—Π°Ρ‡Π΅ΠΌ? Π₯очСтся ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π½Π°ΠΊΠΎΠΏΠ»Π΅Π½Π½Ρ‹ΠΉ ΠΎΠΏΡ‹Ρ‚, свой ΠΈ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹, Ρ‚Π°ΠΊ скаТСм, Π² энциклопСдичСском Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ – навСрняка ΠΊΠΎΠΌΡƒ-Ρ‚ΠΎ ΠΎΠ½ Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΠΎΠ»Π΅Π·Π΅Π½.

ΠŸΡ€ΠΎΠ±Π»Π΅ΠΌΠ°Ρ‚ΠΈΠΊΡƒ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… постараСмся ΠΎΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ с Ρ€Π°Π·Π½Ρ‹Ρ… сторон: основныС ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΡ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, инструмСнты, ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ практичСских Π·Π°Π΄Π°Ρ‡. ΠžΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΠΎΠΊΠ°ΠΆΠ΅ΠΌ Ρ‚Π΅ΠΌΠ΅ машинного обучСния.

ΠΠ°Ρ‡ΠΈΠ½Π°Ρ‚ΡŒ Π½Π°Π΄ΠΎ ΠΎΡ‚ простого ΠΊ слоТному, поэтому пСрвая ΡΡ‚Π°Ρ‚ΡŒΡ – ΠΎ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ°Ρ… Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ ΠΈ ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΠ΅ MapReduce.

Π˜ΡΡ‚ΠΎΡ€ΠΈΡ вопроса ΠΈ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Ρ‚Π΅Ρ€ΠΌΠΈΠ½Π°

Π’Π΅Ρ€ΠΌΠΈΠ½ Big Data появился ΡΡ€Π°Π²Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π½Π΅Π΄Π°Π²Π½ΠΎ. Google Trends ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ Π½Π°Ρ‡Π°Π»ΠΎ Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎΠ³ΠΎ роста употрСблСния словосочСтания начиная с 2011 Π³ΠΎΠ΄Π° (ссылка):

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π€ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами

ΠŸΡ€ΠΈ этом ΡƒΠΆΠ΅ сСйчас Ρ‚Π΅Ρ€ΠΌΠΈΠ½ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π»Π΅Π½ΠΈΠ²Ρ‹ΠΉ. ОсобСнно часто Π½Π΅ ΠΏΠΎ Π΄Π΅Π»Ρƒ Ρ‚Π΅Ρ€ΠΌΠΈΠ½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΎΠ»ΠΎΠ³ΠΈ. Π’Π°ΠΊ Ρ‡Ρ‚ΠΎ ΠΆΠ΅ Ρ‚Π°ΠΊΠΎΠ΅ Big Data Π½Π° самом Π΄Π΅Π»Π΅? Π Π°Π· ΡƒΠΆ я Ρ€Π΅ΡˆΠΈΠ» систСмно ΠΈΠ·Π»ΠΎΠΆΠΈΡ‚ΡŒ ΠΈ ΠΎΡΠ²Π΅Ρ‚ΠΈΡ‚ΡŒ вопрос – Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒΡΡ с понятиСм.

Π’ своСй ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅ я встрСчался с Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ опрСдСлСниями:

Β· Big Data – это ΠΊΠΎΠ³Π΄Π° Π΄Π°Π½Π½Ρ‹Ρ… большС, Ρ‡Π΅ΠΌ 100Π“Π± (500Π“Π±, 1Π’Π‘, ΠΊΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ нравится)

Β· Big Data – это Ρ‚Π°ΠΊΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ Π² Excel

Β· Big Data – это Ρ‚Π°ΠΊΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π½Π° ΠΎΠ΄Π½ΠΎΠΌ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π΅

Β· Π’ig Data – это Π²ΠΎΠΎΠ±Ρ‰Π΅ Π»ΡŽΠ±Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅.

Β· Big Data Π½Π΅ сущСствуСт, Π΅Π΅ ΠΏΡ€ΠΈΠ΄ΡƒΠΌΠ°Π»ΠΈ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΎΠ»ΠΎΠ³ΠΈ.

Π’ этом Ρ†ΠΈΠΊΠ»Π΅ статСй я Π±ΡƒΠ΄Ρƒ ΠΏΡ€ΠΈΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Ρ‚ΡŒΡΡ опрСдСлСния с wikipedia:

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ (Π°Π½Π³Π». big data) β€” сСрия ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠ², инструмСнтов ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ структурированных ΠΈ нСструктурированных Π΄Π°Π½Π½Ρ‹Ρ… ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… ΠΎΠ±ΡŠΡ‘ΠΌΠΎΠ² ΠΈ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ многообразия для получСния воспринимаСмых Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠΎΠΌ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ², эффСктивных Π² условиях Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ³ΠΎ прироста, распрСдСлСния ΠΏΠΎ многочислСнным ΡƒΠ·Π»Π°ΠΌ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ сСти, ΡΡ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π²ΡˆΠΈΡ…ΡΡ Π² ΠΊΠΎΠ½Ρ†Π΅ 2000-Ρ… Π³ΠΎΠ΄ΠΎΠ², Π°Π»ΡŒΡ‚Π΅Ρ€Π½Π°Ρ‚ΠΈΠ²Π½Ρ‹Ρ… Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹ΠΌ систСмам управлСния Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡΠΌ класса Business Intelligence.

Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ ΠΏΠΎΠ΄ Big Data я Π±ΡƒΠ΄Ρƒ ΠΏΠΎΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Π½Π΅ ΠΊΠ°ΠΊΠΎΠΉ-Ρ‚ΠΎ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΉ ΠΎΠ±ΡŠΡ‘ΠΌ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ Π΄Π°ΠΆΠ΅ Π½Π΅ сами Π΄Π°Π½Π½Ρ‹Π΅, Π° ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΈΡ… ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ распрСдёлСно ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ. Π­Ρ‚ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΊΠ°ΠΊ ΠΊ ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΌ массивам Π΄Π°Π½Π½Ρ‹Ρ… (Ρ‚Π°ΠΊΠΈΠΌ ΠΊΠ°ΠΊ содСрТаниС всСх страниц Π² ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅), Ρ‚Π°ΠΊ ΠΈ ΠΊ малСньким (Ρ‚Π°ΠΊΠΈΠΌ ΠΊΠ°ΠΊ содСрТимоС этой ΡΡ‚Π°Ρ‚ΡŒΠΈ).

ΠŸΡ€ΠΈΠ²Π΅Π΄Ρƒ нСсколько ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ источником Π΄Π°Π½Π½Ρ‹Ρ…, для ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ:

Β· Π›ΠΎΠ³ΠΈ повСдСния ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ Π² ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅

Β· GPS-сигналы ΠΎΡ‚ Π°Π²Ρ‚ΠΎΠΌΠΎΠ±ΠΈΠ»Π΅ΠΉ для транспортной ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ

Β· Π”Π°Π½Π½Ρ‹Π΅, снимаСмыС с Π΄Π°Ρ‚Ρ‡ΠΈΠΊΠΎΠ² Π² большом Π°Π΄Ρ€ΠΎΠ½Π½ΠΎΠΌ ΠΊΠΎΠ»Π»Π°ΠΉΠ΄Π΅Ρ€Π΅

Β· ΠžΡ†ΠΈΡ„Ρ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ ΠΊΠ½ΠΈΠ³ΠΈ Π² Российской ГосударствСнной Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ΅

Β· Π˜Π½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡ ΠΎ транзакциях всСх ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ² Π±Π°Π½ΠΊΠ°

Β· Π˜Π½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡ ΠΎ всСх ΠΏΠΎΠΊΡƒΠΏΠΊΠ°Ρ… Π² ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ Ρ€ΠΈΡ‚Π΅ΠΉΠ» сСти ΠΈ Ρ‚.Π΄.

ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ источников Π΄Π°Π½Π½Ρ‹Ρ… ΡΡ‚Ρ€Π΅ΠΌΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ растёт, Π° Π·Π½Π°Ρ‡ΠΈΡ‚ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ ΠΈΡ… ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ становятся всё Π±ΠΎΠ»Π΅Π΅ вострСбованными.

ΠŸΡ€ΠΈΠ½Ρ†ΠΈΠΏΡ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ

Π˜ΡΡ…ΠΎΠ΄Ρ ΠΈΠ· опрСдСлСния Big Data, ΠΌΠΎΠΆΠ½ΠΎ ΡΡ„ΠΎΡ€ΠΌΡƒΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ основныС ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΡ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Ρ‚Π°ΠΊΠΈΠΌΠΈ Π΄Π°Π½Π½Ρ‹ΠΌΠΈ:

1. Π“ΠΎΡ€ΠΈΠ·ΠΎΠ½Ρ‚Π°Π»ΡŒΠ½Π°Ρ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ. ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ сколь ΡƒΠ³ΠΎΠ΄Π½ΠΎ ΠΌΠ½ΠΎΠ³ΠΎ – любая систСма, которая ΠΏΠΎΠ΄Ρ€Π°Π·ΡƒΠΌΠ΅Π²Π°Π΅Ρ‚ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ…, Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ Ρ€Π°ΡΡˆΠΈΡ€ΡΠ΅ΠΌΠΎΠΉ. Π’ 2 Ρ€Π°Π·Π° вырос ΠΎΠ±ΡŠΡ‘ΠΌ Π΄Π°Π½Π½Ρ‹Ρ… – Π² 2 Ρ€Π°Π·Π° ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ»ΠΈ количСство ΠΆΠ΅Π»Π΅Π·Π° Π² кластСрС ΠΈ всё ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠΈΠ»ΠΎ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ.

2. ΠžΡ‚ΠΊΠ°Π·ΠΎΡƒΡΡ‚ΠΎΠΉΡ‡ΠΈΠ²ΠΎΡΡ‚ΡŒ. ΠŸΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π³ΠΎΡ€ΠΈΠ·ΠΎΠ½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΉ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΠΈ ΠΏΠΎΠ΄Ρ€Π°Π·ΡƒΠΌΠ΅Π²Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ машин Π² кластСрС ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΌΠ½ΠΎΠ³ΠΎ. НапримСр, Hadoop-кластСр Yahoo ΠΈΠΌΠ΅Π΅Ρ‚ Π±ΠΎΠ»Π΅Π΅ 42000 машин (ΠΏΠΎ этой ссылкС ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ€Π°Π·ΠΌΠ΅Ρ€Ρ‹ кластСра Π² Ρ€Π°Π·Π½Ρ‹Ρ… организациях). Π­Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Ρ‡Π°ΡΡ‚ΡŒ этих машин Π±ΡƒΠ΄Π΅Ρ‚ Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎ Π²Ρ‹Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΈΠ· строя. ΠœΠ΅Ρ‚ΠΎΠ΄Ρ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°Ρ‚ΡŒ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Ρ‚Π°ΠΊΠΈΡ… сбоСв ΠΈ ΠΏΠ΅Ρ€Π΅ΠΆΠΈΠ²Π°Ρ‚ΡŒ ΠΈΡ… Π±Π΅Π· ΠΊΠ°ΠΊΠΈΡ…-Π»ΠΈΠ±ΠΎ Π·Π½Π°Ρ‡ΠΈΠΌΡ‹Ρ… послСдствий.

3. Π›ΠΎΠΊΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Ρ…. Π’ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… распрСдСлённых систСмах Π΄Π°Π½Π½Ρ‹Π΅ распрСдСлСны ΠΏΠΎ Π±ΠΎΠ»ΡŒΡˆΠΎΠΌΡƒ количСству машин. Если Π΄Π°Π½Π½Ρ‹Π΅ физичСски находятся Π½Π° ΠΎΠ΄Π½ΠΎΠΌ сСрвСрС, Π° ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ΡΡ Π½Π° Π΄Ρ€ΡƒΠ³ΠΎΠΌ – расходы Π½Π° ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΡ€Π΅Π²Ρ‹ΡΠΈΡ‚ΡŒ расходы Π½Π° саму ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ ΠΎΠ΄Π½ΠΈΠΌ ΠΈΠ· Π²Π°ΠΆΠ½Π΅ΠΉΡˆΠΈΡ… ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΎΠ² проСктирования BigData-Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ являСтся ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π»ΠΎΠΊΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Π΄Π°Π½Π½Ρ‹Ρ… – ΠΏΠΎ возмоТности ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅ΠΌ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π° Ρ‚ΠΎΠΉ ΠΆΠ΅ машинС, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΈΡ… Ρ…Ρ€Π°Π½ΠΈΠΌ.

ВсС соврСмСнныС срСдства Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ Ρ‚Π°ΠΊ ΠΈΠ»ΠΈ ΠΈΠ½Π°Ρ‡Π΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‚ этим Ρ‚Ρ€Ρ‘ΠΌ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ°ΠΌ. Для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΠΌ ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ – Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡ€ΠΈΠ΄ΡƒΠΌΡ‹Π²Π°Ρ‚ΡŒ ΠΊΠ°ΠΊΠΈΠ΅-Ρ‚ΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, способы ΠΈ ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΡ‹ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ срСдств Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ…. Один ΠΈΠ· самых классичСских ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² я Ρ€Π°Π·Π±Π΅Ρ€Ρƒ Π² сСгодняшнСй ΡΡ‚Π°Ρ‚ΡŒΠ΅.

MapReduce

ΠŸΡ€ΠΎ MapReduce Π½Π° Ρ…Π°Π±Ρ€Π΅ ΡƒΠΆΠ΅ писали (Ρ€Π°Π·, Π΄Π²Π°, Ρ‚Ρ€ΠΈ), Π½ΠΎ Ρ€Π°Π· ΡƒΠΆ Ρ†ΠΈΠΊΠ» статСй ΠΏΡ€Π΅Ρ‚Π΅Π½Π΄ΡƒΠ΅Ρ‚ Π½Π° систСмноС ΠΈΠ·Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ вопросов Big Data – Π±Π΅Π· MapReduce Π² ΠΏΠ΅Ρ€Π²ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ Π½Π΅ ΠΎΠ±ΠΎΠΉΡ‚ΠΈΡΡŒ J

MapReduce – это модСль распрСдСлСнной ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ…, прСдлоТСнная ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠ΅ΠΉ Google для ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… ΠΎΠ±ΡŠΡ‘ΠΌΠΎΠ² Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½Ρ‹Ρ… кластСрах. MapReduce Π½Π΅ΠΏΠ»ΠΎΡ…ΠΎ ΠΈΠ»Π»ΡŽΡΡ‚Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ΡΡ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΉ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠΎΠΉ (взято ΠΏΠΎ ссылкС):

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π€ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами

MapReduce ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΎΠ²Π°Π½Ρ‹ Π² Π²ΠΈΠ΄Π΅ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… записСй. ΠžΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ… происходит Π² 3 стадии:

1. Бтадия Map. На этой стадии Π΄Π°Π½Π½Ρ‹Π΅ ΠΏΡ€Π΅Π΄ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ΡΡ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ map(), ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ опрСдСляСт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒ. Π Π°Π±ΠΎΡ‚Π° этой стадии Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² ΠΏΡ€Π΅Π΄ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ ΠΈ Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°Ρ†ΠΈΠΈ Π΄Π°Π½Π½Ρ‹Ρ…. Π Π°Π±ΠΎΡ‚Π° ΠΎΡ‡Π΅Π½ΡŒ ΠΏΠΎΡ…ΠΎΠΆΠ° Π½Π° ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΡŽ map Π² Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Ρ… языках программирования – ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠ°Ρ функция примСняСтся ΠΊ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ записи.

Ѐункция map() примСнСнная ΠΊ ΠΎΠ΄Π½ΠΎΠΉ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ записи ΠΈ Π²Ρ‹Π΄Π°Ρ‘Ρ‚ мноТСство ΠΏΠ°Ρ€ ΠΊΠ»ΡŽΡ‡-Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. ΠœΠ½ΠΎΠΆΠ΅ΡΡ‚Π²ΠΎ – Ρ‚.Π΅. ΠΌΠΎΠΆΠ΅Ρ‚ Π²Ρ‹Π΄Π°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄Π½Ρƒ запись, ΠΌΠΎΠΆΠ΅Ρ‚ Π½Π΅ Π²Ρ‹Π΄Π°Ρ‚ΡŒ Π½ΠΈΡ‡Π΅Π³ΠΎ, Π° ΠΌΠΎΠΆΠ΅Ρ‚ Π²Ρ‹Π΄Π°Ρ‚ΡŒ нСсколько ΠΏΠ°Ρ€ ΠΊΠ»ΡŽΡ‡-Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. Π§Ρ‚ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ находится Π² ΠΊΠ»ΡŽΡ‡Π΅ ΠΈ Π² Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΈ – Ρ€Π΅ΡˆΠ°Ρ‚ΡŒ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŽ, Π½ΠΎ ΠΊΠ»ΡŽΡ‡ – ΠΎΡ‡Π΅Π½ΡŒ ваТная Π²Π΅Ρ‰ΡŒ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π΄Π°Π½Π½Ρ‹Π΅ с ΠΎΠ΄Π½ΠΈΠΌ ΠΊΠ»ΡŽΡ‡ΠΎΠΌ Π² Π±ΡƒΠ΄ΡƒΡ‰Π΅ΠΌ ΠΏΠΎΠΏΠ°Π΄ΡƒΡ‚ Π² ΠΎΠ΄ΠΈΠ½ экзСмпляр Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ reduce.

2. Бтадия Shuffle. ΠŸΡ€ΠΎΡ…ΠΎΠ΄ΠΈΡ‚ Π½Π΅Π·Π°ΠΌΠ΅Ρ‚Π½ΠΎ для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ. Π’ этой стадии Π²Ρ‹Π²ΠΎΠ΄ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ map «разбираСтся ΠΏΠΎ ΠΊΠΎΡ€Π·ΠΈΠ½Π°ΠΌΒ» – каТдая ΠΊΠΎΡ€Π·ΠΈΠ½Π° соотвСтствуСт ΠΎΠ΄Π½ΠΎΠΌΡƒ ΠΊΠ»ΡŽΡ‡Ρƒ Π²Ρ‹Π²ΠΎΠ΄Π° стадии map. Π’ дальнСйшСм эти ΠΊΠΎΡ€Π·ΠΈΠ½Ρ‹ послуТат Π²Ρ…ΠΎΠ΄ΠΎΠΌ для reduce.

3. Бтадия Reduce. КаТдая Β«ΠΊΠΎΡ€Π·ΠΈΠ½Π°Β» со значСниями, сформированная Π½Π° стадии shuffle, ΠΏΠΎΠΏΠ°Π΄Π°Π΅Ρ‚ Π½Π° Π²Ρ…ΠΎΠ΄ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ reduce().

Ѐункция reduce задаётся ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΌ ΠΈ вычисляСт Ρ„ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ для ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ Β«ΠΊΠΎΡ€Π·ΠΈΠ½Ρ‹Β». ΠœΠ½ΠΎΠΆΠ΅ΡΡ‚Π²ΠΎ всСх Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ, Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Ρ‘Π½Π½Ρ‹Ρ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ reduce(), являСтся Ρ„ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΌ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠΌ MapReduce-Π·Π°Π΄Π°Ρ‡ΠΈ.

НСсколько Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Ρ„Π°ΠΊΡ‚ΠΎΠ² ΠΏΡ€ΠΎ MapReduce:

1) ВсС запуски Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ map Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ нСзависимо ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ, Π² Ρ‚ΠΎΠΌ числС Π½Π° Ρ€Π°Π·Π½Ρ‹Ρ… ΠΌΠ°ΡˆΠΈΠ½Π°Ρ… кластСра.

2) ВсС запуски Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ reduce Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ нСзависимо ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ, Π² Ρ‚ΠΎΠΌ числС Π½Π° Ρ€Π°Π·Π½Ρ‹Ρ… ΠΌΠ°ΡˆΠΈΠ½Π°Ρ… кластСра.

3) Shuffle Π²Π½ΡƒΡ‚Ρ€ΠΈ сСбя прСдставляСт ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΡƒΡŽ сортировку, поэтому Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π½Π° Ρ€Π°Π·Π½Ρ‹Ρ… ΠΌΠ°ΡˆΠΈΠ½Π°Ρ… кластСра. ΠŸΡƒΠ½ΠΊΡ‚Ρ‹ 1-3 ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π³ΠΎΡ€ΠΈΠ·ΠΎΠ½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΉ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΠΈ.

4) Ѐункция map, ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ, примСняСтся Π½Π° Ρ‚ΠΎΠΉ ΠΆΠ΅ машинС, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ хранятся Π΄Π°Π½Π½Ρ‹Π΅ – это позволяСт ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΏΠΎ сСти (ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π»ΠΎΠΊΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Π΄Π°Π½Π½Ρ‹Ρ…).

5) MapReduce – это всСгда ΠΏΠΎΠ»Π½ΠΎΠ΅ сканированиС Π΄Π°Π½Π½Ρ‹Ρ…, Π½ΠΈΠΊΠ°ΠΊΠΈΡ… индСксов Π½Π΅Ρ‚. Π­Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ MapReduce ΠΏΠ»ΠΎΡ…ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌ, ΠΊΠΎΠ³Π΄Π° ΠΎΡ‚Π²Π΅Ρ‚ трСбуСтся ΠΎΡ‡Π΅Π½ΡŒ быстро.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ Π·Π°Π΄Π°Ρ‡, эффСктивно Ρ€Π΅ΡˆΠ°Π΅ΠΌΡ‹Ρ… ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ MapReduce

Word Count

Начнём с классичСской Π·Π°Π΄Π°Ρ‡ΠΈ – Word Count. Π—Π°Π΄Π°Ρ‡Π° формулируСтся ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ: имССтся большой корпус Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ². Π—Π°Π΄Π°Ρ‡Π° – для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ слова, хотя Π±Ρ‹ ΠΎΠ΄ΠΈΠ½ Ρ€Π°Π· Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‰Π΅Π³ΠΎΡΡ Π² корпусС, ΠΏΠΎΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ суммарноС количСство Ρ€Π°Π·, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΠΎΠ½ΠΎ Π²ΡΡ‚Ρ€Π΅Ρ‚ΠΈΠ»ΠΎΡΡŒ Π² корпусС.

Π Π°Π· ΠΈΠΌΠ΅Π΅ΠΌ большой корпус Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ² – ΠΏΡƒΡΡ‚ΡŒ ΠΎΠ΄ΠΈΠ½ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠ΄Π½ΠΎΠΉ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ записью для MapRreduce–задачи. Π’ MapReduce ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π·Π°Π΄Π°Π²Π°Ρ‚ΡŒ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠ΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ ΠΈ сдСлаСм (Π±ΡƒΠ΄Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ python-like псСвдокод):

Ѐункция map ΠΏΡ€Π΅Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ Π² Π½Π°Π±ΠΎΡ€ ΠΏΠ°Ρ€ (слово, 1), shuffle ΠΏΡ€ΠΎΠ·Ρ€Π°Ρ‡Π½ΠΎ для нас ΠΏΡ€Π΅Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ это Π² ΠΏΠ°Ρ€Ρ‹ (слово, [1,1,1,1,1,1]), reduce суммируСт эти Π΅Π΄ΠΈΠ½ΠΈΡ‡ΠΊΠΈ, возвращая Ρ„ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚ для слова.

ΠžΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° Π»ΠΎΠ³ΠΎΠ² Ρ€Π΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ систСмы

Π’Ρ‚ΠΎΡ€ΠΎΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ взят ΠΈΠ· Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΉ ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠΈ Data-Centric Alliance.

Π—Π°Π΄Π°Ρ‡Π°: имССтся csv-Π»ΠΎΠ³ Ρ€Π΅ΠΊΠ»Π°ΠΌΠ½ΠΎΠΉ систСмы Π²ΠΈΠ΄Π°:

НСобходимо Ρ€Π°ΡΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΡΡ€Π΅Π΄Π½ΡŽΡŽ ΡΡ‚ΠΎΠΈΠΌΠΎΡΡ‚ΡŒ ΠΏΠΎΠΊΠ°Π·Π° Ρ€Π΅ΠΊΠ»Π°ΠΌΡ‹ ΠΏΠΎ Π³ΠΎΡ€ΠΎΠ΄Π°ΠΌ России.

Ѐункция map провСряСт, Π½ΡƒΠΆΠ½Π° Π»ΠΈ Π½Π°ΠΌ данная запись – ΠΈ Ссли Π½ΡƒΠΆΠ½Π°, оставляСт Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½ΡƒΠΆΠ½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ (Π³ΠΎΡ€ΠΎΠ΄ ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ€ ΠΏΠ»Π°Ρ‚Π΅ΠΆΠ°). Ѐункция reduce вычисляСт Ρ„ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚ ΠΏΠΎ Π³ΠΎΡ€ΠΎΠ΄Ρƒ, имСя список всСх ΠΏΠ»Π°Ρ‚Π΅ΠΆΠ΅ΠΉ Π² этом Π³ΠΎΡ€ΠΎΠ΄Π΅.

РСзюмС

Π’ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΌΡ‹ рассмотрСли нСсколько Π²Π²ΠΎΠ΄Π½Ρ‹Ρ… ΠΌΠΎΠΌΠ΅Π½Ρ‚ΠΎΠ² ΠΏΡ€ΠΎ большиС Π΄Π°Π½Π½Ρ‹Π΅:

Β· Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Big Data ΠΈ ΠΎΡ‚ΠΊΡƒΠ΄Π° бСрётся;

Β· Каким основным ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ°ΠΌ ΡΠ»Π΅Π΄ΡƒΡŽΡ‚ всС срСдства ΠΈ ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΡ‹ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ;

Β· РассмотрСли ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΡƒ MapReduce ΠΈ Ρ€Π°Π·ΠΎΠ±Ρ€Π°Π»ΠΈ нСсколько Π·Π°Π΄Π°Ρ‡, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΎΠ½Π° ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½Π°.

ΠŸΠ΅Ρ€Π²Π°Ρ ΡΡ‚Π°Ρ‚ΡŒΡ Π±Ρ‹Π»Π° большС тСорСтичСской, Π²ΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΌΡ‹ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄Π΅ΠΌ ΠΊ ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅, рассмотрим Hadoop – ΠΎΠ΄Π½Ρƒ ΠΈΠ· самых извСстных Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ ΠΈ ΠΏΠΎΠΊΠ°ΠΆΠ΅ΠΌ, ΠΊΠ°ΠΊ Π·Π°ΠΏΡƒΡΠΊΠ°Ρ‚ΡŒ MapReduce-Π·Π°Π΄Π°Ρ‡ΠΈ Π½Π° Hadoop.

Π’ ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΡ… ΡΡ‚Π°Ρ‚ΡŒΡΡ… Ρ†ΠΈΠΊΠ»Π° ΠΌΡ‹ рассмотрим Π±ΠΎΠ»Π΅Π΅ слоТныС Π·Π°Π΄Π°Ρ‡ΠΈ, Ρ€Π΅ΡˆΠ°Π΅ΠΌΡ‹Π΅ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ MapReduce, расскаТСм ΠΎΠ± ограничСниях MapReduce ΠΈ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊΠΈΠΌΠΈ инструмСнтами ΠΈ Ρ‚Π΅Ρ…Π½ΠΈΠΊΠ°ΠΌΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ эти ограничСния.

Бпасибо Π·Π° Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Π³ΠΎΡ‚ΠΎΠ²Ρ‹ ΠΎΡ‚Π²Π΅Ρ‚ΠΈΡ‚ΡŒ Π½Π° ваши вопросы.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Big Data ΠΈ ΠΏΠΎΡ‡Π΅ΠΌΡƒ ΠΈΡ… Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ Β«Π½ΠΎΠ²ΠΎΠΉ Π½Π΅Ρ„Ρ‚ΡŒΡŽΒ»

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π€ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Big Data?

Big Data ΠΈΠ»ΠΈ большиС Π΄Π°Π½Π½Ρ‹Π΅ β€” это структурированныС ΠΈΠ»ΠΈ нСструктурированныС массивы Π΄Π°Π½Π½Ρ‹Ρ… большого объСма. Π˜Ρ… ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… инструмСнтов, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для статистики, Π°Π½Π°Π»ΠΈΠ·Π°, ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΎΠ² ΠΈ принятия Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ.

Π‘Π°ΠΌ Ρ‚Π΅Ρ€ΠΌΠΈΠ½ «большиС Π΄Π°Π½Π½Ρ‹Π΅Β» ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠΈΠ» Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ ΠΆΡƒΡ€Π½Π°Π»Π° Nature ΠšΠ»ΠΈΡ„Ρ„ΠΎΡ€Π΄ Π›ΠΈΠ½Ρ‡ Π² спСцвыпускС 2008 Π³ΠΎΠ΄Π° [1]. Он Π³ΠΎΠ²ΠΎΡ€ΠΈΠ» ΠΎ Π²Π·Ρ€Ρ‹Π²Π½ΠΎΠΌ ростС объСмов ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ Π² ΠΌΠΈΡ€Π΅. К большим Π΄Π°Π½Π½Ρ‹ΠΌ Π›ΠΈΠ½Ρ‡ отнСс Π»ΡŽΠ±Ρ‹Π΅ массивы Π½Π΅ΠΎΠ΄Π½ΠΎΡ€ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… Π±ΠΎΠ»Π΅Π΅ 150 Π“Π± Π² сутки, ΠΎΠ΄Π½Π°ΠΊΠΎ Π΅Π΄ΠΈΠ½ΠΎΠ³ΠΎ критСрия Π΄ΠΎ сих ΠΏΠΎΡ€ Π½Π΅ сущСствуСт.

Π”ΠΎ 2011 Π³ΠΎΠ΄Π° Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… занимались Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² Ρ€Π°ΠΌΠΊΠ°Ρ… Π½Π°ΡƒΡ‡Π½Ρ‹Ρ… ΠΈ статистичСских исслСдований. Но ΠΊ Π½Π°Ρ‡Π°Π»Ρƒ 2012-Π³ΠΎ ΠΎΠ±ΡŠΠ΅ΠΌΡ‹ Π΄Π°Π½Π½Ρ‹Ρ… выросли Π΄ΠΎ ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΎΠ², ΠΈ Π²ΠΎΠ·Π½ΠΈΠΊΠ»Π° ΠΏΠΎΡ‚Ρ€Π΅Π±Π½ΠΎΡΡ‚ΡŒ Π² ΠΈΡ… систСматизации ΠΈ практичСском ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами. Π€ΠΎΡ‚ΠΎ Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° простыми словами

Π‘ 2014 Π½Π° Big Data ΠΎΠ±Ρ€Π°Ρ‚ΠΈΠ»ΠΈ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π²Π΅Π΄ΡƒΡ‰ΠΈΠ΅ ΠΌΠΈΡ€ΠΎΠ²Ρ‹Π΅ Π²ΡƒΠ·Ρ‹, Π³Π΄Π΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‚ ΠΏΡ€ΠΈΠΊΠ»Π°Π΄Π½Ρ‹ΠΌ ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ€Π½Ρ‹ΠΌ ΠΈ ИВ-ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΡΠΌ. Π—Π°Ρ‚Π΅ΠΌ ΠΊ сбору ΠΈ Π°Π½Π°Π»ΠΈΠ·Ρƒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡ΠΈΠ»ΠΈΡΡŒ ИВ-ΠΊΠΎΡ€ΠΏΠΎΡ€Π°Ρ†ΠΈΠΈ β€” Ρ‚Π°ΠΊΠΈΠ΅, ΠΊΠ°ΠΊ Microsoft, IBM, Oracle, EMC, Π° Π·Π°Ρ‚Π΅ΠΌ ΠΈ Google, Apple, Facebook ΠΈ Amazon. БСгодня большиС Π΄Π°Π½Π½Ρ‹Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΊΡ€ΡƒΠΏΠ½Ρ‹Π΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Π²ΠΎ всСх отраслях, Π° Ρ‚Π°ΠΊΠΆΠ΅ β€” госорганы. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ ΠΎΠ± этом β€” Π² ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π΅ Β«ΠšΡ‚ΠΎ ΠΈ Π·Π°Ρ‡Π΅ΠΌ собираСт большиС Π΄Π°Π½Π½Ρ‹Π΅?Β»

КакиС Π΅ΡΡ‚ΡŒ характСристики Big Data?

Компания Meta Group ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠΈΠ»Π° основныС характСристики Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… [2]:

БСгодня ΠΊ этим Ρ‚Ρ€Π΅ΠΌ Π΄ΠΎΠ±Π°Π²Π»ΡΡŽΡ‚ Π΅Ρ‰Π΅ Ρ‚Ρ€ΠΈ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ° [3]:

Как Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Big Data: ΠΊΠ°ΠΊ ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ ΠΈ хранят большиС Π΄Π°Π½Π½Ρ‹Π΅?

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ всС Π·Π½Π°Ρ‡ΠΈΠΌΡ‹Π΅ Ρ„Π°ΠΊΡ‚ΠΎΡ€Ρ‹ ΠΈ ΠΏΡ€ΠΈΠ½ΡΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠ΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Big Data строят ΠΌΠΎΠ΄Π΅Π»ΠΈ-симуляции, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚ΠΎ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠ΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅, идСю, ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚.

Π“Π»Π°Π²Π½Ρ‹Π΅ источники Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ…:

Π‘ 2007 Π³ΠΎΠ΄Π° Π² распоряТСнии Π€Π‘Π  ΠΈ Π¦Π Π£ появилась PRISM β€” ΠΎΠ΄ΠΈΠ½ ΠΈΠ· самых ΠΏΡ€ΠΎΠ΄Π²ΠΈΠ½ΡƒΡ‚Ρ‹Ρ… сСрвисов, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ собираСт ΠΏΠ΅Ρ€ΡΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΠ±ΠΎ всСх ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡΡ… соцсСтСй, Π° Ρ‚Π°ΠΊΠΆΠ΅ сСрвисов Microsoft, Google, Apple, Yahoo ΠΈ Π΄Π°ΠΆΠ΅ записи Ρ‚Π΅Π»Π΅Ρ„ΠΎΠ½Π½Ρ‹Ρ… Ρ€Π°Π·Π³ΠΎΠ²ΠΎΡ€ΠΎΠ².

Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ систСмы ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°ΡŽΡ‚ ΠΌΠ³Π½ΠΎΠ²Π΅Π½Π½Ρ‹ΠΉ доступ ΠΊ массивам Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ…. Для ΠΈΡ… хранСния ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π΄Π°Ρ‚Π°-Ρ†Π΅Π½Ρ‚Ρ€Ρ‹ с самыми ΠΌΠΎΡ‰Π½Ρ‹ΠΌΠΈ сСрвСрами.

Помимо Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Ρ…, физичСских сСрвСров ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΎΠ±Π»Π°Ρ‡Π½Ρ‹Π΅ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π°, Β«ΠΎΠ·Π΅Ρ€Π° Π΄Π°Π½Π½Ρ‹Ρ…Β» (data lake β€” Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° большого объСма нСструктурированных Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· ΠΎΠ΄Π½ΠΎΠ³ΠΎ источника) ΠΈ Hadoop β€” Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ, состоящий ΠΈΠ· Π½Π°Π±ΠΎΡ€Π° ΡƒΡ‚ΠΈΠ»ΠΈΡ‚ для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ выполнСния ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌ распрСдСлСнных вычислСний. Для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Big Data ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ ΠΏΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΠΈ ΠΈ управлСния, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ… для Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠΈ.

Big Data Analytics β€” ΠΊΠ°ΠΊ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ большиС Π΄Π°Π½Π½Ρ‹Π΅?

Благодаря Π²Ρ‹ΡΠΎΠΊΠΎΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ тСхнологиям β€” Ρ‚Π°ΠΊΠΈΠΌ, ΠΊΠ°ΠΊ Π³Ρ€ΠΈΠ΄-вычислСния ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ° Π² ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ памяти, ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠΌΠΎΠ³ΡƒΡ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π»ΡŽΠ±Ρ‹Π΅ ΠΎΠ±ΡŠΠ΅ΠΌΡ‹ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… для Π°Π½Π°Π»ΠΈΠ·Π°. Иногда Big Data сначала ΡΡ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€ΠΈΡ€ΡƒΡŽΡ‚, отбирая Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚Π΅, Ρ‡Ρ‚ΠΎ Π½ΡƒΠΆΠ½Ρ‹ для Π°Π½Π°Π»ΠΈΠ·Π°. ВсС Ρ‡Π°Ρ‰Π΅ большиС Π΄Π°Π½Π½Ρ‹Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ для Π·Π°Π΄Π°Ρ‡ Π² Ρ€Π°ΠΌΠΊΠ°Ρ… Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½Π½ΠΎΠΉ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠΈ, Π²ΠΊΠ»ΡŽΡ‡Π°Ρ искусствСнный ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚.

Π’Ρ‹Π΄Π΅Π»ΡΡŽΡ‚ Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅ основных ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π°Π½Π°Π»ΠΈΠ·Π° Big Data [4]:

1. ΠžΠΏΠΈΡΠ°Ρ‚Π΅Π»ΡŒΠ½Π°Ρ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ° (descriptive analytics) β€” самая распространСнная. Она ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ Π½Π° вопрос Β«Π§Ρ‚ΠΎ ΠΏΡ€ΠΎΠΈΠ·ΠΎΡˆΠ»ΠΎ?Β», Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π΄Π°Π½Π½Ρ‹Π΅, ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‰ΠΈΠ΅ Π² Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΌ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ, ΠΈ историчСскиС Π΄Π°Π½Π½Ρ‹Π΅. Главная Ρ†Π΅Π»ΡŒ β€” Π²Ρ‹ΡΡΠ½ΠΈΡ‚ΡŒ ΠΏΡ€ΠΈΡ‡ΠΈΠ½Ρ‹ ΠΈ закономСрности успСхов ΠΈΠ»ΠΈ Π½Π΅ΡƒΠ΄Π°Ρ‡ Π² Ρ‚ΠΎΠΉ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ сфСрС, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ эти Π΄Π°Π½Π½Ρ‹Π΅ для Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ эффСктивных ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. Для ΠΎΠΏΠΈΡΠ°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Π±Π°Π·ΠΎΠ²Ρ‹Π΅ матСматичСскиС Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ. Π’ΠΈΠΏΠΈΡ‡Π½Ρ‹ΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ β€” социологичСскиС исслСдования ΠΈΠ»ΠΈ Π΄Π°Π½Π½Ρ‹Π΅ Π²Π΅Π±-статистики, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ компания ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ Ρ‡Π΅Ρ€Π΅Π· Google Analytics.

Β«Π•ΡΡ‚ΡŒ Π΄Π²Π° Π±ΠΎΠ»ΡŒΡˆΠΈΡ… класса ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для принятия Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ ΠΏΠΎ Ρ†Π΅Π½ΠΎΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΡŽ. ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ отталкиваСтся ΠΎΡ‚ Ρ€Ρ‹Π½ΠΎΡ‡Π½Ρ‹Ρ… Ρ†Π΅Π½ Π½Π° Ρ‚ΠΎΡ‚ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ Ρ‚ΠΎΠ²Π°Ρ€. Π”Π°Π½Π½Ρ‹Π΅ ΠΎ Ρ†Π΅Π½Π½ΠΈΠΊΠ°Ρ… Π² Π΄Ρ€ΡƒΠ³ΠΈΡ… ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°Ρ… ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ΡΡ, Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΈ Π½Π° ΠΈΡ… основС ΠΏΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΌ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌ ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°ΡŽΡ‚ΡΡ собствСнныС Ρ†Π΅Π½Ρ‹.

Π’Ρ‚ΠΎΡ€ΠΎΠΉ класс ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ связан с выстраиваниСм ΠΊΡ€ΠΈΠ²ΠΎΠΉ спроса, которая ΠΎΡ‚Ρ€Π°ΠΆΠ°Π΅Ρ‚ ΠΎΠ±ΡŠΠ΅ΠΌΡ‹ ΠΏΡ€ΠΎΠ΄Π°ΠΆ Π² зависимости ΠΎΡ‚ Ρ†Π΅Π½Ρ‹. Π­Ρ‚ΠΎ Π±ΠΎΠ»Π΅Π΅ аналитичСская история. Π’ ΠΎΠ½Π»Π°ΠΉΠ½Π΅ Ρ‚Π°ΠΊΠΎΠΉ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ примСняСтся ΠΎΡ‡Π΅Π½ΡŒ ΡˆΠΈΡ€ΠΎΠΊΠΎ, ΠΈ ΠΌΡ‹ пСрСносим эту Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΡŽ ΠΈΠ· ΠΎΠ½Π»Π°ΠΉΠ½Π° Π² ΠΎΡ„Π»Π°ΠΉΠ½Β».

2. ΠŸΡ€ΠΎΠ³Π½ΠΎΠ·Π½Π°Ρ ΠΈΠ»ΠΈ прСдикативная Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ° (predictive analytics) β€” ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ ΡΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ вСроятноС Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠ΅ событий Π½Π° основС ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΡ…ΡΡ Π΄Π°Π½Π½Ρ‹Ρ…. Для этого ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ Π½Π° основС ΠΊΠ°ΠΊΠΈΡ…-Π»ΠΈΠ±ΠΎ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² ΠΈΠ»ΠΈ явлСний с Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹ΠΌ Π½Π°Π±ΠΎΡ€ΠΎΠΌ характСристик. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΡ€Π΅Π΄ΠΈΠΊΠ°Ρ‚ΠΈΠ²Π½ΠΎΠΉ (ΠΈΠ»ΠΈ ΠΏΡ€Π΅Π΄ΠΈΠΊΡ‚ΠΈΠ²Π½ΠΎΠΉ, ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·Π½ΠΎΠΉ) Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠΈ ΠΌΠΎΠΆΠ½ΠΎ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΠΏΡ€ΠΎΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΎΠ±Π²Π°Π» ΠΈΠ»ΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Ρ†Π΅Π½ Π½Π° Ρ„ΠΎΠ½Π΄ΠΎΠ²ΠΎΠΌ Ρ€Ρ‹Π½ΠΊΠ΅. Или ΠΎΡ†Π΅Π½ΠΈΡ‚ΡŒ возмоТности ΠΏΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π·Π°Π΅ΠΌΡ‰ΠΈΠΊΠ° ΠΏΠΎ Π²Ρ‹ΠΏΠ»Π°Ρ‚Π΅ ΠΊΡ€Π΅Π΄ΠΈΡ‚Π°.

3. ΠŸΡ€Π΅Π΄ΠΏΠΈΡΠ°Ρ‚Π΅Π»ΡŒΠ½Π°Ρ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ° (prescriptive analytics) β€” ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·Π½ΠΎΠΉ. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Big Data ΠΈ соврСмСнных Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ ΠΌΠΎΠΆΠ½ΠΎ Π²Ρ‹ΡΠ²ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ½Ρ‹Π΅ Ρ‚ΠΎΡ‡ΠΊΠΈ Π² бизнСсС ΠΈΠ»ΠΈ любой Π΄Ρ€ΡƒΠ³ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ Ρ€Π°ΡΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ, ΠΏΡ€ΠΈ ΠΊΠ°ΠΊΠΎΠΌ сцСнарии ΠΈΡ… ΠΌΠΎΠΆΠ½ΠΎ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ ΠΈΡ… Π² Π±ΡƒΠ΄ΡƒΡ‰Π΅ΠΌ.

4. ДиагностичСская Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠ° (diagnostic analytics) β€” ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Π΄Π°Π½Π½Ρ‹Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΈΡ‡ΠΈΠ½Ρ‹ ΠΏΡ€ΠΎΠΈΠ·ΠΎΡˆΠ΅Π΄ΡˆΠ΅Π³ΠΎ. Π­Ρ‚ΠΎ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ Π²Ρ‹ΡΠ²Π»ΡΡ‚ΡŒ Π°Π½ΠΎΠΌΠ°Π»ΠΈΠΈ ΠΈ случайныС связи ΠΌΠ΅ΠΆΠ΄Ρƒ событиями ΠΈ дСйствиями.

НапримСр, Amazon Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ ΠΏΡ€ΠΎΠ΄Π°ΠΆΠ°Ρ… ΠΈ Π²Π°Π»ΠΎΠ²ΠΎΠΉ ΠΏΡ€ΠΈΠ±Ρ‹Π»ΠΈ для Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ², Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π²Ρ‹ΡΡΠ½ΠΈΡ‚ΡŒ, ΠΏΠΎΡ‡Π΅ΠΌΡƒ ΠΎΠ½ΠΈ принСсли мСньшС Π΄ΠΎΡ…ΠΎΠ΄Π°, Ρ‡Π΅ΠΌ оТидалось.

Π”Π°Π½Π½Ρ‹Π΅ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… инструмСнтов ΠΈ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ [6] [7]:

Как ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΠ» Π² подкастС Π Π‘Πš Π’Ρ€Π΅Π½Π΄ΠΎΠ² ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ€ ΠΏΠΎ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΡŽ IoT «ЯндСкс.Облака» АлСксандр Π‘ΡƒΡ€ΠΊΠΎΠ², Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ ΠΏΡ€ΠΈΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ΡΡ Π΄Π²ΡƒΡ… ΠΊΡ€ΠΈΡ‚Π΅Ρ€ΠΈΠ΅Π² сбора ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ:

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ большиС массивы Π΄Π°Π½Π½Ρ‹Ρ… Π² Ρ€Π΅ΠΆΠΈΠΌΠ΅ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Ρ‹: ΠΈΡ… ΠΌΠΎΡ‰Π½ΠΎΡΡ‚ΡŒ ΠΈ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ возмоТности ΠΌΠ½ΠΎΠ³ΠΎΠΊΡ€Π°Ρ‚Π½ΠΎ прСвосходят ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Π΅. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ β€” Π² ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π΅ «Как устроСны ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Ρ‹ ΠΈ Ρ‡Ρ‚ΠΎ ΠΎΠ½ΠΈ ΡƒΠΌΠ΅ΡŽΡ‚Β».

Big Data ΠΈ Data Science β€” Π² Ρ‡Π΅ΠΌ Ρ€Π°Π·Π½ΠΈΡ†Π°?

Data Science ΠΈΠ»ΠΈ Π½Π°ΡƒΠΊΠ° ΠΎ Π΄Π°Π½Π½Ρ‹Ρ… β€” это сфСра Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, которая ΠΏΠΎΠ΄Ρ€Π°Π·ΡƒΠΌΠ΅Π²Π°Π΅Ρ‚ сбор, ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ ΠΈ Π°Π½Π°Π»ΠΈΠ· Π΄Π°Π½Π½Ρ‹Ρ…, β€” структурированных ΠΈ нСструктурированных, Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π±ΠΎΠ»ΡŒΡˆΠΈΡ…. Π’ Π½Π΅ΠΉ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ матСматичСского ΠΈ статистичСского Π°Π½Π°Π»ΠΈΠ·Π°, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹Π΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ. Data Science Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚, Π² Ρ‚ΠΎΠΌ числС, ΠΈ с Big Data, Π½ΠΎ Π΅Π΅ главная Ρ†Π΅Π»ΡŒ β€” Π½Π°ΠΉΡ‚ΠΈ Π² Π΄Π°Π½Π½Ρ‹Ρ… Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ Ρ†Π΅Π½Π½ΠΎΠ΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ это для ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… Π·Π°Π΄Π°Ρ‡.

Π’ ΠΊΠ°ΠΊΠΈΡ… отраслях ΡƒΠΆΠ΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Big Data?

ПавСл Π˜Π²Π°Π½Ρ‡Π΅Π½ΠΊΠΎ, Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ ΠΏΠΎ IoT «МСгаЀона»:

Β«IoT-Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ ΠΈΠ· области Ρ‚Π°ΠΊ Π½Π°Π·Ρ‹Π²Π°Π΅ΠΌΠΎΠ³ΠΎ Ρ‚ΠΎΡ‡Π½ΠΎΠ³ΠΎ зСмлСдСлия β€” это ΠΊΠΎΠ³Π΄Π° ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ мСтСостанции, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ стоят Π² полях, с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ сСнсоров ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ Π΄Π°Π½Π½Ρ‹Π΅ (Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Π°, Π²Π»Π°ΠΆΠ½ΠΎΡΡ‚ΡŒ) ΠΈ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΠ΅Ρ€Π΅Π΄Π°ΡŽΡ‰ΠΈΡ… Ρ€Π°Π΄ΠΈΠΎ-GSM-ΠΌΠΎΠ΄ΡƒΠ»Π΅ΠΉ ΠΎΡ‚ΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ ΠΈΡ… Π½Π° IoT-ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ. На Π½Π΅ΠΉ посрСдством Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² big data происходит ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° собранной с сСнсоров ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈ строится высокоточный почасовой ΠΏΡ€ΠΎΠ³Π½ΠΎΠ· ΠΏΠΎΠ³ΠΎΠ΄Ρ‹. ΠšΠ»ΠΈΠ΅Π½Ρ‚ Π²ΠΈΠ΄ΠΈΡ‚ Π΅Π³ΠΎ Π² интСрфСйсС Π½Π° ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π΅, ΠΏΠ»Π°Π½ΡˆΠ΅Ρ‚Π΅ ΠΈΠ»ΠΈ смартфонС ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡΒ».

Big Data Π² России ΠΈ ΠΌΠΈΡ€Π΅

По Π΄Π°Π½Π½Ρ‹ΠΌ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ IBS [8], Π² 2012 Π³ΠΎΠ΄Ρƒ объСм хранящихся Π² ΠΌΠΈΡ€Π΅ Ρ†ΠΈΡ„Ρ€ΠΎΠ²Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… вырос Π½Π° 50%: с 1,8 Π΄ΠΎ 2,7 Π—Π±Π°ΠΉΡ‚ (2,7 Ρ‚Ρ€Π»Π½ Π“Π±Π°ΠΉΡ‚). Π’ 2015-ΠΌ Π² ΠΌΠΈΡ€Π΅ ΠΊΠ°ΠΆΠ΄Ρ‹Π΅ Π΄Π΅ΡΡΡ‚ΡŒ ΠΌΠΈΠ½ΡƒΡ‚ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Π»ΠΎΡΡŒ ΡΡ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΆΠ΅ Π΄Π°Π½Π½Ρ‹Ρ…, сколько Π·Π° вСсь 2003 Π³ΠΎΠ΄.

По Π΄Π°Π½Π½Ρ‹ΠΌ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ NetApp, ΠΊ 2003 Π³ΠΎΠ΄Ρƒ Π² ΠΌΠΈΡ€Π΅ накопилось 5 Π­Π±Π°ΠΉΡ‚ΠΎΠ² Π΄Π°Π½Π½Ρ‹Ρ… (1 Π­Π±Π°ΠΉΡ‚ = 1 ΠΌΠ»Ρ€Π΄ Π“Π±Π°ΠΉΡ‚). Π’ 2015-ΠΌ β€” Π±ΠΎΠ»Π΅Π΅ 6,5 Π—Π±Π°ΠΉΡ‚Π°, ΠΏΡ€ΠΈΡ‡Π΅ΠΌ Ρ‚ΠΎΠ³Π΄Π° большиС Π΄Π°Π½Π½Ρ‹Π΅ использовали лишь 17% ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΉ ΠΏΠΎ всСму ΠΌΠΈΡ€Ρƒ [9]. Π‘ΠΎΠ»ΡŒΡˆΡƒΡŽ Ρ‡Π°ΡΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Ρ… Π±ΡƒΠ΄ΡƒΡ‚ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сами ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ, Π° Π½Π΅ ΠΈΡ… ΠΊΠ»ΠΈΠ΅Π½Ρ‚Ρ‹. ΠŸΡ€ΠΈ этом ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹ΠΉ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒ Π±ΡƒΠ΄Π΅Ρ‚ ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ с Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ устройствами, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΡŽΡ‚ Π΄Π°Π½Π½Ρ‹Π΅, ΠΎΠΊΠΎΠ»ΠΎ 4 800 Ρ€Π°Π· Π² дСнь.

БСйчас Π² БША с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Π±ΠΎΠ»Π΅Π΅ 55% ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΉ [11], Π² Π•Π²Ρ€ΠΎΠΏΠ΅ ΠΈ Азии β€” ΠΎΠΊΠΎΠ»ΠΎ 53%. Волько Π·Π° послСдниС ΠΏΡΡ‚ΡŒ Π»Π΅Ρ‚ распространСниС Big Data Π² бизнСсС выросло Π² Ρ‚Ρ€ΠΈ Ρ€Π°Π·Π°.

Π’ ΠšΠΈΡ‚Π°Π΅ дСйствуСт Π±ΠΎΠ»Π΅Π΅ 200 Π·Π°ΠΊΠΎΠ½ΠΎΠ² ΠΈ ΠΏΡ€Π°Π²ΠΈΠ», ΠΊΠ°ΡΠ°ΡŽΡ‰ΠΈΡ…ΡΡ Π·Π°Ρ‰ΠΈΡ‚Ρ‹ Π»ΠΈΡ‡Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π‘ 2019 Π³ΠΎΠ΄Π° всС популярныС прилоТСния для смартфонов Π½Π°Ρ‡Π°Π»ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΡΡ‚ΡŒ ΠΈ Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Ссли ΠΎΠ½ΠΈ ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡΡ… Π²ΠΎΠΏΡ€Π΅ΠΊΠΈ Π·Π°ΠΊΠΎΠ½Π°ΠΌ. Π’ ΠΈΡ‚ΠΎΠ³Π΅ Π΄Π°Π½Π½Ρ‹Π΅ Ρ‡Π΅Ρ€Π΅Π· мСстныС сСрвисы собираСт государство, ΠΈ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ ΠΈΠ· Π½ΠΈΡ… нСдоступны ΠΈΠ·Π²Π½Π΅.

Π‘ 2018 Π³ΠΎΠ΄Π° Π² Π•Π²Ρ€ΠΎΡΠΎΡŽΠ·Π΅ дСйствуСт GDPR β€” ВсСобщий Ρ€Π΅Π³Π»Π°ΠΌΠ΅Π½Ρ‚ ΠΏΠΎ Π·Π°Ρ‰ΠΈΡ‚Π΅ Π΄Π°Π½Π½Ρ‹Ρ…. Он Ρ€Π΅Π³ΡƒΠ»ΠΈΡ€ΡƒΠ΅Ρ‚ всС, Ρ‡Ρ‚ΠΎ касаСтся сбора, хранСния ΠΈ использования Π΄Π°Π½Π½Ρ‹Ρ… ΠΎΠ½Π»Π°ΠΉΠ½-ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ. Когда Π·Π°ΠΊΠΎΠ½ вступил Π² силу Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄, ΠΎΠ½ считался самой ТСсткой Π² ΠΌΠΈΡ€Π΅ систСмой Π·Π°Ρ‰ΠΈΡ‚Ρ‹ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ людСй Π² Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅.

Π’ России Ρ€Ρ‹Π½ΠΎΠΊ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… Ρ‚ΠΎΠ»ΡŒΠΊΠΎ зароТдаСтся. К ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρƒ, сотовыС ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΎΡ€Ρ‹ дСлятся с Π±Π°Π½ΠΊΠ°ΠΌΠΈ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠ΅ΠΉ ΠΎ ΠΏΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… Π·Π°Π΅ΠΌΡ‰ΠΈΠΊΠ°Ρ… [12]. Π‘Ρ€Π΅Π΄ΠΈ ΠΊΠΎΡ€ΠΏΠΎΡ€Π°Ρ†ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ Π΄Π°Π½Π½Ρ‹Π΅ β€” «ЯндСкс», Β«Π‘Π±Π΅Ρ€Β», Mail.ru. Появились ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ инструмСнты, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‚ бизнСсу ΡΠΎΠ±ΠΈΡ€Π°Ρ‚ΡŒ ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Big Data β€” Ρ‚Π°ΠΊΠΈΠ΅, ΠΊΠ°ΠΊ российский сСрвис Ctrl2GO.

Big Data в бизнСсС

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ для бизнСса Π² Ρ‚Ρ€Π΅Ρ… Π³Π»Π°Π²Π½Ρ‹Ρ… направлСниях:

ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ β€” Ρ‚Π°ΠΊΠΈΠ΅, ΠΊΠ°ΠΊ Netflix, Procter & Gamble ΠΈΠ»ΠΈ Coca-Cola β€” с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΡƒΡŽΡ‚ ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ спрос. 70% Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ Π² бизнСсС ΠΈ госуправлСнии принимаСтся Π½Π° основС Π³Π΅ΠΎΠ΄Π°Π½Π½Ρ‹Ρ…. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ β€” Π² ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π΅ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ бизнСс ΠΈΠ·Π²Π»Π΅ΠΊΠ°Π΅Ρ‚ ΠΏΡ€ΠΈΠ±Ρ‹Π»ΡŒ ΠΈΠ· Big Data.

ΠšΠ°ΠΊΠΎΠ²Ρ‹ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ ΠΈ пСрспСктивы Big Data?

Π“Π»Π°Π²Π½Ρ‹Π΅ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹:

ΠŸΠ»ΡŽΡΡ‹ ΠΈ пСрспСктивы:

Π’ блиТайшСм Π±ΡƒΠ΄ΡƒΡ‰Π΅ΠΌ большиС Π΄Π°Π½Π½Ρ‹Π΅ станут Π³Π»Π°Π²Π½Ρ‹ΠΌ инструмСнтом для принятия Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ β€” начиная с сСтСвых бизнСсов ΠΈ заканчивая Ρ†Π΅Π»Ρ‹ΠΌΠΈ государствами ΠΈ ΠΌΠ΅ΠΆΠ΄ΡƒΠ½Π°Ρ€ΠΎΠ΄Π½Ρ‹ΠΌΠΈ организациями [15].

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ big data: Π·Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ½Ρ‹ большиС Π΄Π°Π½Π½Ρ‹Π΅, ΠΊΠ°ΠΊ ΠΈΡ… ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ ΠΈ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚

ВсС Π²ΠΎΠΊΡ€ΡƒΠ³ говорят ΠΎ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ…: Ρ‡Ρ‚ΠΎ с ΠΈΡ… ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠΎΠΆΠ½ΠΎ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ бизнСс-процСссы, ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ², ΡƒΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ производством ΠΈ Π΄Π°ΠΆΠ΅ Ρ€Π°Π·Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ искусствСнный ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚. РазбСрСмся, Ρ‡Ρ‚ΠΎ это, для Ρ‡Π΅Π³ΠΎ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹ ΠΈ ΠΊΠ°ΠΊ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ большиС Π΄Π°Π½Π½Ρ‹Π΅

Если ΠΎΠ±ΠΎΠ±Ρ‰ΠΈΡ‚ΡŒ, Ρ‚ΠΎ Π±ΠΈΠ³ Π΄Π°Ρ‚Π° β€” это большой объСм ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ компания собираСт ΠΈ Ρ…Ρ€Π°Π½ΠΈΡ‚ для ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ использования. Π•Ρ‰Π΅ ΠΊΠΎΠ³Π΄Π° говорят, Ρ‡Ρ‚ΠΎ компания ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ большиС Π΄Π°Π½Π½Ρ‹Π΅, часто ΠΈΠΌΠ΅ΡŽΡ‚ Π² Π²ΠΈΠ΄Ρƒ Π½Π΅ сами Π΄Π°Π½Π½Ρ‹Π΅, Π° Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для ΠΈΡ… ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ.

КакиС Π΄Π°Π½Π½Ρ‹Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ большими

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΎΡ‚Π΄Π΅Π»ΠΈΡ‚ΡŒ большиС Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΡ‚ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ…, Π½ΡƒΠΆΠ½ΠΎ ΠΎΡ‚Π²Π΅Ρ‚ΠΈΡ‚ΡŒ Π½Π° вопрос: Β«big data β€” это сколько?Β». Π’Π°Π±Π»ΠΈΡ†Π° Π² ЭксСлС Π½Π° 500 000 строк β€” это большиС Π΄Π°Π½Π½Ρ‹Π΅? А Ссли строк ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄? ВСкстовый Ρ„Π°ΠΉΠ» Π½Π° тысячи слов, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ вСсит 2 ΠΌΠ΅Π³Π°Π±Π°ΠΉΡ‚Π°, β€” это ΠΌΠ½ΠΎΠ³ΠΎ? А распСчатки Π³Ρ€Π°Ρ„ΠΈΠΊΠΎΠ² Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρ‹ всСх мСтСостанций ΠΡ€Ρ…Π°Π½Π³Π΅Π»ΡŒΡΠΊΠΎΠΉ области β€” ΠΌΠ½ΠΎΠ³ΠΎ ΠΈΠ»ΠΈ Π΅Ρ‰Π΅ нСдостаточно?

Π’ΡƒΡ‚ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ скаТут, Ρ‡Ρ‚ΠΎ эти ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой довольно Π²Π½ΡƒΡˆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ количСство ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π”Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ, с Ρ‚Π°ΠΊΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния, всС пСрСчислСнноС β€” большиС Π΄Π°Π½Π½Ρ‹Π΅. Но Ρ‡Ρ‚ΠΎ Π²Ρ‹ скаТСтС ΠΏΡ€ΠΎ Ρ‚Π°Π±Π»ΠΈΡ†Ρƒ Π² ЭксСлС Π½Π° ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ строк? Π­Ρ‚ΠΎ Ρ‚ΠΎΠΆΠ΅ большиС Π΄Π°Π½Π½Ρ‹Π΅ β€” ΠΈ ΠΊΡƒΠ΄Π° побольшС Ρ‚Π΅Ρ…!

На ΠΈΠ½Ρ‚ΡƒΠΈΡ‚ΠΈΠ²Π½ΠΎΠΌ ΡƒΡ€ΠΎΠ²Π½Π΅ спСциалисты, Π΄Π°Π»Π΅ΠΊΠΈΠ΅ ΠΎΡ‚ big data, ΠΏΡ€ΠΈΠ²Ρ‹ΠΊΠ»ΠΈ Π½Π°Π·Ρ‹Π²Π°Ρ‚ΡŒ большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ любой объСм ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ слоТно ΡƒΠ΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒ Π² Π³ΠΎΠ»ΠΎΠ²Π΅ ΠΈ/ΠΈΠ»ΠΈ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ ΠΌΠ½ΠΎΠ³ΠΎ мСста. И Ρ‚Π°ΠΊΠΎΠ΅ ΠΈΠ½Ρ‚ΡƒΠΈΡ‚ΠΈΠ²Π½ΠΎΠ΅ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅, ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎ ΠΆΠ΅, Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ.

ΠžΠ΄Π½ΠΎΠ·Π½Π°Ρ‡Π½ΠΎ ΠΎΡ‚Π΄Π΅Π»ΠΈΡ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΎΡ‚ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ… ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ Ρ‚Ρ€ΠΈ критСрия.

Π”Π°Π½Π½Ρ‹Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ Ρ†ΠΈΡ„Ρ€ΠΎΠ²Ρ‹ΠΌΠΈ. Книги Π² Π½Π°Ρ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠΉ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ΅ ΠΈΠ»ΠΈ стопки Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ² Π² Π°Ρ€Ρ…ΠΈΠ²Π΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ β€” это Π΄Π°Π½Π½Ρ‹Π΅, ΠΈ часто ΠΈΡ… ΠΌΠ½ΠΎΠ³ΠΎ. Но Ρ‚Π΅Ρ€ΠΌΠΈΠ½ big data ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ†ΠΈΡ„Ρ€ΠΎΠ²Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ хранятся Π½Π° сСрвСрах.

Π”Π°Π½Π½Ρ‹Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΠΏΠΎΡΡ‚ΡƒΠΏΠ°Ρ‚ΡŒ Π² ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΈΠ²Π½ΠΎ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… ΠΎΠ±ΡŠΠ΅ΠΌΠ°Ρ… ΠΈ быстро Π½Π°ΠΊΠ°ΠΏΠ»ΠΈΠ²Π°Ρ‚ΡŒΡΡ. НапримСр, Π±Π°Π·Π° Π·Π°ΠΊΠ°Π·ΠΎΠ² ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚-ΠΌΠ°Π³Π°Π·ΠΈΠ½Π° ΠΏΠΎ ΠΏΡ€ΠΎΠ΄Π°ΠΆΠ΅ колясок ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ большой: 10 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π·Π°ΠΊΠ°Π·ΠΎΠ² Π·Π° 20 Π»Π΅Ρ‚, Π½ΠΎ пополняСтся ΠΎΠ½Π° со ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ 100 Π·Π°ΠΊΠ°Π·ΠΎΠ² Π² сутки β€” это Π½Π΅ большиС Π΄Π°Π½Π½Ρ‹Π΅. Ѐильм Π² высоком качСствС ΠΌΠΎΠΆΠ΅Ρ‚ Π·Π°Π½ΠΈΠΌΠ°Ρ‚ΡŒ дСсятки Π³ΠΈΠ³ΠΎΠ², Π½ΠΎ со Π²Ρ€Π΅ΠΌΠ΅Π½Π΅ΠΌ Π΅Π³ΠΎ Ρ€Π°Π·ΠΌΠ΅Ρ€ Π½Π΅ растСт β€” это Ρ‚ΠΎΠΆΠ΅ Π½Π΅ big data.

А Π²ΠΎΡ‚ записи ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ ΠΏΠ°Ρ€Ρ‹ сСнсоров Π² Π΄Π²ΠΈΠ³Π°Ρ‚Π΅Π»Π΅ Π‘ΠΎΠΈΠ½Π³Π°, ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‰ΠΈΠ΅ Π² количСствС нСсколько Π³ΠΈΠ³Π°Π±Π°ΠΉΡ‚ Π² час ΠΈ Π·Π°Π³Ρ€ΡƒΠΆΠ°Π΅ΠΌΡ‹Π΅ Π½Π° диагностичСский сСрвСр производитСля Π°Π²ΠΈΠ°Ρ‚Π΅Ρ…Π½ΠΈΠΊΠΈ β€” это ΡƒΠΆΠ΅ big data.

Π”Π°Π½Π½Ρ‹Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·Π½ΠΎΡ€ΠΎΠ΄Π½Ρ‹ΠΌΠΈ ΠΈ слабо структурированными. Π—Π°ΠΊΠ°Π·Ρ‹ Π² ΠΎΠ½Π»Π°ΠΉΠ½-ΠΌΠ°Π³Π°Π·ΠΈΠ½Π΅ упорядочСны, ΠΈΠ· Π½ΠΈΡ… Π»Π΅Π³ΠΊΠΎ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ статистичСскиС ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, срСдний Ρ‡Π΅ΠΊ ΠΈΠ»ΠΈ самыС популярныС Ρ‚ΠΎΠ²Π°Ρ€Ρ‹. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ эти Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅ относят ΠΊ big data.

Показания Π΄Π°Ρ‚Ρ‡ΠΈΠΊΠΎΠ² Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρ‹ с корпуса самолСта, записанныС Π·Π° послСдниС 6 мСсяцСв, β€” информация, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π΅ΡΡ‚ΡŒ польза, Π½ΠΎ Π½Π΅ ΠΎΡ‡Π΅Π½ΡŒ понятно, ΠΊΠ°ΠΊ Π΅Π΅ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ. МоТно, ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎ, Ρ€Π°ΡΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ срСдниС значСния Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρ‹ Π·Π° Π±ΠΎΡ€Ρ‚ΠΎΠΌ самолСта Π·Π° ΠΏΠΎΠ»Π³ΠΎΠ΄Π°, Π½ΠΎ ΠΊΠ°ΠΊΠΎΠΉ Π² этом смысл? А Ссли ΠΏΠΎΠ³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒΡΡ Π² Π°Π½Π°Π»ΠΈΠ· этих Π΄Π°Π½Π½Ρ‹Ρ… Π³Π»ΡƒΠ±ΠΎΠΊΠΎ β€” ΠΌΠΎΠΆΠ½ΠΎ Π²Ρ‹Ρ‚Π°Ρ‰ΠΈΡ‚ΡŒ ΠΌΠ½ΠΎΠ³ΠΎ Π½Π΅ΠΎΡ‡Π΅Π²ΠΈΠ΄Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. НапримСр, ΠΎ Π΄Π»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΏΠ΅Ρ€Π΅Π»Π΅Ρ‚ΠΎΠ², скорости Π½Π°Π±ΠΎΡ€Π° высоты, климатичСских условиях Π·Π° Π±ΠΎΡ€Ρ‚ΠΎΠΌ ΠΈ Ρ‚Π°ΠΊ Π΄Π°Π»Π΅Π΅. Π˜Π½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡ интСрСсная ΠΈ полСзная, Π½ΠΎ трудноизвлСкаСмая, Π·Π½Π°Ρ‡ΠΈΡ‚, это большиС Π΄Π°Π½Π½Ρ‹Π΅.

Π­Ρ‚ΠΎΡ‚ ΠΊΡ€ΠΈΡ‚Π΅Ρ€ΠΈΠΉ Π½Π΅ всСгда ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ. Иногда большиС ΠΎΠ±ΡŠΠ΅ΠΌΡ‹ структурированных Π΄Π°Π½Π½Ρ‹Ρ…, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ постоянно ΠΏΠΎΠΏΠΎΠ»Π½ΡΡŽΡ‚ΡΡ, относят ΠΊ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Ρƒ big data, особСнно Ссли ΠΈΡ… ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ для машинного обучСния ΠΈΠ»ΠΈ выявлСния Π½Π΅ΠΎΡ‡Π΅Π²ΠΈΠ΄Π½Ρ‹Ρ… закономСрностСй. Π’ΠΎ Π΅ΡΡ‚ΡŒ Ссли ΠΊ структурированным Π΄Π°Π½Π½Ρ‹ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ Π°Π½Π°Π»ΠΈΠ·Π° big data, ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ это ΠΎΠ½ΠΈ ΠΈ Π΅ΡΡ‚ΡŒ.

Π˜Ρ‚Π°ΠΊ, большиС Π΄Π°Π½Π½Ρ‹Π΅ β€” это трудноанализируСмая цифровая информация, накапливаСмая со Π²Ρ€Π΅ΠΌΠ΅Π½Π΅ΠΌ ΠΈ ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‰Π°Ρ ΠΊ Π²Π°ΠΌ солидными порциями

Π—Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ½Π° big data

Когда Π² любом IT-ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π΅ Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‚ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, Π² ΠΏΠ΅Ρ€Π²ΡƒΡŽ ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΠΎΡ‡Π΅Π²ΠΈΠ΄Π½Ρ‹Π΅, Π·Π½Π°Ρ‡ΠΈΠΌΡ‹Π΅ ΠΈ понятныС ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ. Π’Π°ΠΊ, Ссли Ρ€Π΅Ρ‡ΡŒ ΠΈΠ΄Π΅Ρ‚ ΠΎΠ± ΠΎΠ½Π»Π°ΠΉΠ½-Ρ‚ΠΎΡ€Π³ΠΎΠ²Π»Π΅, сначала смотрят Π½Π° срСдниС Ρ‡Π΅ΠΊΠΈ Π·Π°ΠΊΠ°Π·ΠΎΠ², Ρ‚ΠΎΠΏ ΠΏΡ€ΠΎΠ΄Π°ΠΆ ΠΈ ΠΎΠ±ΡŠΠ΅ΠΌΡ‹ складских запасов. Когда Ρ€Π΅Ρ‡ΡŒ ΠΈΠ΄Π΅Ρ‚ ΠΎ самолСтах β€” смотрят ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ, высоту, расход Ρ‚ΠΎΠΏΠ»ΠΈΠ²Π°.

Π‘Π±ΠΎΡ€ ΠΈ Π°Π½Π°Π»ΠΈΠ· ΠΎΡ‡Π΅Π²ΠΈΠ΄Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ позволяСт Π²Π½ΠΎΡΠΈΡ‚ΡŒ Π² систСму простыС ΠΈ понятныС ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΠΎΠ²ΠΊΠΈ. Π’Π°ΠΊΠΈΠ΅ ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΡ практичСски сразу Π΄Π°ΡŽΡ‚ ΠΎΡ‰ΡƒΡ‚ΠΈΠΌΡ‹ΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚. Π­Ρ‚ΠΎ называСтся «сбор Ρ„Ρ€ΡƒΠΊΡ‚ΠΎΠ² с Π½ΠΈΠΆΠ½ΠΈΡ… Π²Π΅Ρ‚ΠΎΠΊ Π΄Π΅Ρ€Π΅Π²Π°Β».

По ΠΌΠ΅Ρ€Π΅ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΈ систСмы ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ€Ρ‹ ΠΏΡ€ΠΎΡ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ всС Π²ΠΈΠ΄ΠΈΠΌΡ‹Π΅ ΡƒΠ·ΠΊΠΈΠ΅ мСста Π² ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π΅. ПослС этого начинаСтся стагнация ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚Π°: для поиска Π½ΠΎΠ²Ρ‹Ρ… ΠΏΡƒΡ‚Π΅ΠΉ развития Π½ΡƒΠΆΠ½ΠΎ Π»Π΅Π·Ρ‚ΡŒ Π²Ρ‹ΡˆΠ΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠ±Ρ€Π°Ρ‚ΡŒ ΠΏΠ»ΠΎΠ΄Ρ‹ с Π±ΠΎΠ»Π΅Π΅ высоких Π²Π΅Ρ‚ΠΎΠΊ. Π˜Π½ΠΆΠ΅Π½Π΅Ρ€Ρ‹ ΠΈ Π°Π½Π°Π»ΠΈΡ‚ΠΈΠΊΠΈ Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‚ ΡΠΎΠ±ΠΈΡ€Π°Ρ‚ΡŒ ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ косвСнныС Π΄Π°Π½Π½Ρ‹Π΅, Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ Π½Π΅ связанныС с основными ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°ΠΌΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠ².

НапримСр, Π² ΠΎΠ½Π»Π°ΠΉΠ½-Ρ‚ΠΎΡ€Π³ΠΎΠ²Π»Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΠ±ΠΈΡ€Π°Ρ‚ΡŒ со страниц ΠΌΠ°Π³Π°Π·ΠΈΠ½Π° Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Ρ‰Π΅Π½ΠΈΠΈ курсора (ΠΈΠ»ΠΈ ΠΏΠ°Π»ΡŒΡ†Π°) ΠΏΠΎ экрану. Или ΡΠΎΠ±ΠΈΡ€Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ с большого числа сСнсоров самолСта, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€: число ΠΎΠ±ΠΎΡ€ΠΎΡ‚ΠΎΠ² двигатСля, состав Ρ‚ΠΎΠΏΠ»ΠΈΠ²Π½ΠΎ-Π²ΠΎΠ·Π΄ΡƒΡˆΠ½ΠΎΠΉ смСси, Π·Π°Π±ΠΎΡ€Ρ‚Π½ΡƒΡŽ Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρƒ ΠΈ Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρƒ Π²Ρ‹Ρ…Π»ΠΎΠΏΠ°. Или Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ слова Π² коммСнтариях ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ² Π² соцсСтях для ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈΡ… Π»ΠΎΡΠ»ΡŒΠ½ΠΎΡΡ‚ΠΈ.

Π’Π°ΠΊΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ Π½Π΅ связаны с основными ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°ΠΌΠΈ IT-систСмы ΠΈ бизнСса, Π½ΠΎ ΠΏΡ€ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΌ Π°Π½Π°Π»ΠΈΠ·Π΅ ΠΌΠΎΠ³ΡƒΡ‚ Ρ€Π°ΡΡΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΌΠ½ΠΎΠ³ΠΎ интСрСсного ΠΎ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Ρ‹Ρ… Ρ‚ΠΎΡ‡ΠΊΠ°Ρ… ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π² ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π΅. Π Π°Π±ΠΎΡ‚Π° с Ρ‚Π°ΠΊΠΈΠΌΠΈ Π΄Π°Π½Π½Ρ‹ΠΌΠΈ β€” ΠΊΠ°ΠΊ поиск Π½Π΅Ρ„Ρ‚ΠΈ. НуТно ΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ мСста, ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ стратСгии поиска ΠΈ извлСчСния скрытых рСсурсов, спрятанных Π² Π΄Π°Π½Π½Ρ‹Ρ…. Π”Π°Π»Π΅ΠΊΠΎ Π½Π΅ всС ΠΏΠΎΠΏΡ‹Ρ‚ΠΊΠΈ Π±ΡƒΠ΄ΡƒΡ‚ ΡƒΡΠΏΠ΅ΡˆΠ½Ρ‹, Π½ΠΎ Π² ΠΈΡ‚ΠΎΠ³Π΅ Π½Π°Ρ…ΠΎΠ΄ΠΊΠΈ ΠΌΠΎΠ³ΡƒΡ‚ принСсти массу Π²Ρ‹Π³ΠΎΠ΄Ρ‹.

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ Π² основном ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‚ Ρ€Π΅ΡˆΠ°Ρ‚ΡŒ Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅ Π·Π°Π΄Π°Ρ‡ΠΈ:

ΠΠ½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚Π΅ΠΊΡƒΡ‰Π΅Π΅ ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ Π΄Π΅Π» ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ бизнСс-процСссы. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠ½ΡΡ‚ΡŒ, ΠΊΠ°ΠΊΠΈΠ΅ Ρ‚ΠΎΠ²Π°Ρ€Ρ‹ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡ΠΈΡ‚Π°ΡŽΡ‚ ΠΏΠΎΠΊΡƒΠΏΠ°Ρ‚Π΅Π»ΠΈ, ΠΎΠΏΡ‚ΠΈΠΌΠ°Π»ΡŒΠ½ΠΎ Π»ΠΈ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ станки Π½Π° производствС, Π½Π΅Ρ‚ Π»ΠΈ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с поставками Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ². ΠžΠ±Ρ‹Ρ‡Π½ΠΎ для этого ΠΈΡ‰ΡƒΡ‚ закономСрности Π² Π΄Π°Π½Π½Ρ‹Ρ…, строят Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ ΠΈ Π΄ΠΈΠ°Π³Ρ€Π°ΠΌΠΌΡ‹, Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ ΠΎΡ‚Ρ‡Π΅Ρ‚Ρ‹.

Π”Π΅Π»Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·Ρ‹. Π”Π°Π½Π½Ρ‹Π΅ ΠΎ ΠΏΡ€ΠΎΡˆΠ»ΠΎΠΌ ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‚ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Π²Ρ‹Π²ΠΎΠ΄Ρ‹ ΠΎ Π±ΡƒΠ΄ΡƒΡ‰Π΅ΠΌ. НапримСр, ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ ΠΏΡ€ΠΈΠΊΠΈΠ½ΡƒΡ‚ΡŒ ΠΏΡ€ΠΎΠ΄Π°ΠΆΠΈ Π² Π½ΠΎΠ²ΠΎΠΌ Π³ΠΎΠ΄Ρƒ ΠΈΠ»ΠΈ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΏΠΎΠ»ΠΎΠΌΠΊΡƒ оборудования Π΄ΠΎ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΎΠ½ΠΎ Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ сломаСтся. Π§Π΅ΠΌ большС Π΄Π°Π½Π½Ρ‹Ρ…, Ρ‚Π΅ΠΌ Ρ‚ΠΎΡ‡Π½Π΅Π΅ прСдсказания.

Π‘Ρ‚Ρ€ΠΎΠΈΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ. На основС Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΠ±Ρ€Π°Ρ‚ΡŒ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½ΡƒΡŽ модСль ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°, оборудования ΠΈΠ»ΠΈ нСфтяной скваТины. ΠŸΠΎΡ‚ΠΎΠΌ с этой модСлью ΠΌΠΎΠΆΠ½ΠΎ ΡΠΊΡΠΏΠ΅Ρ€ΠΈΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ: Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ Π² Π½Π΅ΠΉ ΠΈΠ·ΠΌΠ΅Π½ΡΡ‚ΡŒ, ΠΎΡ‚ΡΠ»Π΅ΠΆΠΈΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ, ΡƒΡΠΊΠΎΡ€ΡΡ‚ΡŒ ΠΈΠ»ΠΈ Π·Π°ΠΌΠ΅Π΄Π»ΡΡ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ процСссы для ΠΈΡ… Π°Π½Π°Π»ΠΈΠ·Π°.

ΠΠ²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ€ΡƒΡ‚ΠΈΠ½Ρƒ. На Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… учатся автоматичСскиС ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΡ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡƒΠΌΠ΅ΡŽΡ‚ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Π΅ Π·Π°Π΄Π°Ρ‡ΠΈ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΡΠΎΡ€Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹ ΠΈΠ»ΠΈ ΠΎΠ±Ρ‰Π°Ρ‚ΡŒΡΡ Π² Ρ‡Π°Ρ‚Π°Ρ…. Π­Ρ‚ΠΎ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ ΠΊΠ°ΠΊ ΠΏΡ€ΠΈΠΌΠΈΡ‚ΠΈΠ²Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹, Ρ‚Π°ΠΊ ΠΈ искусствСнный ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚: голосовыС ΠΏΠΎΠΌΠΎΡ‰Π½ΠΈΠΊΠΈ ΠΈΠ»ΠΈ нСйросСти.

Π‘ΠΎΠ»ΡŒΡˆΠ΅ интСрСсных кСйсов использования big data Ρ‡ΠΈΡ‚Π°ΠΉΡ‚Π΅ Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅ Β«Π—Π°Ρ‡Π΅ΠΌ Π²Π°ΠΌ большиС Π΄Π°Π½Π½Ρ‹Π΅: ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ использования big data Π² 8 отраслях».

Π’Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ

ΠœΡ‹ Ρ€Π°Π·ΠΎΠ±Ρ€Π°Π»ΠΈΡΡŒ, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ большиС Π΄Π°Π½Π½Ρ‹Π΅ ΠΈ ΠΊΠ°ΠΊΡƒΡŽ ΠΏΠΎΠ»ΡŒΠ·Ρƒ ΠΎΠ½ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ принСсти. Π’Π΅ΠΏΠ΅Ρ€ΡŒ посмотрим, ΠΊΠ°ΠΊ Π² ΠΎΠ±Ρ‰ΠΈΡ… Ρ‡Π΅Ρ€Ρ‚Π°Ρ… Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ систСмы Π°Π½Π°Π»ΠΈΠ·Π° Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΠΊΠ°ΠΊΠΈΠ΅ инструмСнты Π½ΡƒΠΆΠ½Ρ‹ для ΠΈΡ… Ρ€Π°Π±ΠΎΡ‚Ρ‹.

Π£ΠΏΡ€ΠΎΡ‰Π΅Π½Π½ΠΎ Ρ€Π°Π±ΠΎΡ‚Π° с big data происходит ΠΏΠΎ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΉ схСмС: ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ ΠΈΠ· Ρ€Π°Π·Π½Ρ‹Ρ… источников β†’ Π΄Π°Π½Π½Ρ‹Π΅ ΠΏΠΎΠΌΠ΅Ρ‰Π°ΡŽΡ‚ Π½Π° Ρ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ Π² Π±Π°Π·Ρ‹ ΠΈ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° β†’ Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ β†’ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚Π°Π½Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ выводят с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ срСдств Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈΠ»ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ для машинного обучСния.

Для Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, Π±Π°Π·ΠΎΠ²Ρ‹ΠΌ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΎΠΌ ΡΡ‡ΠΈΡ‚Π°ΡŽΡ‚ Π³ΠΎΡ€ΠΈΠ·ΠΎΠ½Ρ‚Π°Π»ΡŒΠ½ΡƒΡŽ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ сразу Π½Π° мноТСствС ΡƒΠ·Π»ΠΎΠ² (сСрвСров, ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ΠΎΠ²). Если ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΎΠΉ массив ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ Π½Π° ΠΎΠ΄Π½ΠΎΠΌ ΡƒΠ·Π»Π΅, это Π·Π°ΠΉΠΌΠ΅Ρ‚ слишком ΠΌΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ.

Π˜Ρ‚Π°ΠΊ, ΠΊ основным тСхнологиям для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с большими Π΄Π°Π½Π½Ρ‹ΠΌΠΈ относят:

McKinsey Ρ‚Π°ΠΊΠΆΠ΅ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² этот список Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ Business Intelligence ΠΈ рСляционныС систСмы управлСния Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½Ρ‹Ρ… с ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ языка SQL

Π Ρ‹Π½ΠΎΠΊ big data Π² ΠΌΠΈΡ€Π΅ ΠΈ Π² России

По Π΄Π°Π½Π½Ρ‹ΠΌ ΠΎΡ‚Ρ‡Π΅Ρ‚ΠΎΠ², Π² 2020 Π³ΠΎΠ΄Ρƒ ΠΌΠΈΡ€ΠΎΠ²ΠΎΠΉ Ρ€Ρ‹Π½ΠΎΠΊ big data составляСт 138,9 ΠΌΠ»Ρ€Π΄ Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ², ΠΊ 2025 Π³ΠΎΠ΄Ρƒ ΠΎΠ½ вырастСт Π΄ΠΎ 229,4 ΠΌΠ»Ρ€Π΄ Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ² β€” Π±ΡƒΠ΄Π΅Ρ‚ расти ΠΏΠΎ 10,6% Π² Π³ΠΎΠ΄. Π’ΠΏΠ»ΠΎΡ‚ΡŒ Π΄ΠΎ 2025 Π³ΠΎΠ΄Π° лидСрство Π½Π° Ρ€Ρ‹Π½ΠΊΠ΅ Π±ΡƒΠ΄Π΅Ρ‚ ΡƒΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Ρ‚ΡŒ БСвСрная АмСрика, Π² частности БША.

Π’ основном Ρ‚Π°ΠΊΠΎΠΉ рост Π²Ρ‹Π·Π²Π°Π½ ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΠ΅ΠΌ интСрСса ΠΊ IoT β€” сСйчас ΠΊ ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Ρƒ Π²Π΅Ρ‰Π΅ΠΉ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΎ 30,73 ΠΌΠ»Ρ€Π΄ устройств, Π° ΠΊ 2025 Π³ΠΎΠ΄Ρƒ ΠΈΡ… Π±ΡƒΠ΄Π΅Ρ‚ 75,44 ΠΌΠ»Ρ€Π΄. ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, ΡƒΠΆΠ΅ сСйчас Π±Π΅Π· Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Π½Π΅ Π²Ρ‹Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ ΠΊΠΎΠ½ΠΊΡƒΡ€Π΅Π½Ρ†ΠΈΡŽ с Ρ‚Π΅ΠΌΠΈ, ΠΊΡ‚ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ big data, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π½Π΅ ΠΌΠΎΠ³ΡƒΡ‚ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°Ρ‚ΡŒ достаточный ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ клиСнтского сСрвиса.

По российскому Ρ€Ρ‹Π½ΠΊΡƒ Π΄Π°Π½Π½Ρ‹Ρ… Π·Π° 2020 Π³ΠΎΠ΄ ΠΏΠΎΠΊΠ° Π½Π΅Ρ‚. Π’ 2018 Π³ΠΎΠ΄Ρƒ отСчСствСнному Ρ€Ρ‹Π½ΠΊΡƒ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Π»ΠΈ рост Π΄ΠΎ 1,4 ΠΌΠ»Ρ€Π΄ Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ². По ΠΎΡ†Π΅Π½ΠΊΠ°ΠΌ 2019 Π³ΠΎΠ΄Π°, Π·Π° счСт Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… Π’Π’ΠŸ России вырастСт Π½Π° 1,94 Ρ‚Ρ€Π»Π½ Ρ€ΡƒΠ±Π»Π΅ΠΉ, Π° ΠΊ 2024 эта сумма увСличится Π΄ΠΎ 4,2 Ρ‚Ρ€Π»Π½. ОсобСнно большой Π²Ρ‹ΠΈΠ³Ρ€Ρ‹Ρˆ ΠΎΡ‚ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… Π² России ΠΏΠΎΠ»ΡƒΡ‡Π°Ρ‚ отрасли Π΄ΠΎΠ±Ρ‹Ρ‡ΠΈ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Ρ… ископаСмых, Ρ‚ΠΎΡ€Π³ΠΎΠ²Π»ΠΈ, Ρ€Π΅ΠΌΠΎΠ½Ρ‚Π° ΠΈ ΡΡ‚Ρ€ΠΎΠΈΡ‚Π΅Π»ΡŒΡΡ‚Π²Π°.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Π’Π°Ρˆ адрСс email Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½. ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ поля ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Ρ‹ *