Принцип работы системы Youtube – невероятные технологии

Большинство пользователей интернета ни на секунду не задумывается о том, как работает система всемирной паутины

Они просто включают компьютер, запускают браузер и отправляются в очередное увлекательное путешествие в поисках «годного» контента……..

Но если ваша деятельность связана с веб-разработкой, интернет-маркетингом или другой технической отраслью, вы не понаслышке знаете, что интернет — это нечто более глубокое ↓↓↓

 

 

Как он функционирует ?

 

Каждое загруженное на YouTube видео хранится в одном из 14 центров Google по обработке данных, расположенных по всему миру.

Вот один из них ↓

→ В этих гигантских зданиях содержатся тысячи серверов — мощных компьютеров, которые ежедневно обрабатывают миллиарды поисковых запросов, а также хранят ваши видеоролики  yes

 

Огромные башни для охлаждения поддерживают постоянную температуру в 27 градусов Цельсия (80 градусов Фаренгейта), обеспечивая бесперебойную работу всего оборудования.

Вот они ↓

P.S — Тем не менее каждый байт информации все равно хранится, как минимум, на двух серверах для дополнительной безопасности данных.

Также все центры обработки данных связаны между собой, что позволяет эффективно перемещать между ними потоки информации.

Кстати ↓

Когда вы загружаете видео, оно автоматически отправляется в ближайший к вам центр обработки данных.

→ Однако, когда кто-то другой нажимает на «плей», то ролик сначала пересылается в ближайший к нему центр, обеспечивая более быстрый доступ.  good

 

Резервное устройство

• Кроме того, подобная система означает, что в случае непредвиденных обстоятельств — например, пожара в одном из центров — данные будут отправлены в другой центр.

Таким образом, что бы ни случилось, информация всегда доступна для конечного пользователя. smile

 

 

Путешествие видеоролика по сервису

 

Регулярно около 1 миллиарда человек используют сервис YouTube для просмотра и загрузки видео.

Но что происходит с видеороликом, когда его загружают в систему  ???

 

Как происходит загрузка ↓

Каждую минуту на YouTube загружается более 300 часов видео

 

  1. Загрузка на сервер

Как только вы нажали на кнопку «загрузить», YouTube создает несколько разных форматов файлов, в каждом из которых содержится видео в различном качестве.

 

  1. Видеопакеты

Каждая версия видео разделяется на несколько частей, называемых пакетами.

 

  1. Беспроводная передача

Пакеты преобразуются в радиоволны, которые в свою очередь, при помощи Wi-Fi или мобильного интернета, отправляются дальше.

 

  1. Доставка на сервер YouTube

Когда сигнал достигает вышки сотовой связи или маршрутизатора, то при помощи проводного соединения он — передается на сервер YouTube !

 

  1. Повторная сборка и хранение

Сервер YouTube получает пакеты, собирает их обратно в видео и сохраняет в одном из центров обработки данных Google.

 

 

Что происходит при Просмотре ?

 

Каждую минуту пользователи сети делятся в Твиттере более 700 видероликами

 

  1. Пользователь нажимает на «плей»

Когда кто-то, намереваясь посмотреть тот или иной ролик, нажимает на «плей», то запрос по сети направляется на сервер YouTube.

 

  1. Видео разделяется на части

YouTube выбирает наиболее подходящий для браузера пользователя формат видео и вновь разделяет его на пакеты.

 

  1. Видео доставляется зрителю

При помощи проводного или беспроводного интернет-соединения пакеты доставляются на компьютер (планшет, телефон и т.д.) пользователя.

 

  1. Немедленное воспроизведение

Все пакеты отправляются с сервера на компьютер пользователя в строго определенном порядке, чтобы сформировать оригинальное видео оптимального качества.

 

  1. Буферизация

Если интернет-соединение слишком медленное, то видео временно не проигрывается — происходит его буферизация — до тех пор, пока не будет доставлен следующий видеопакет.

 

Платформа Видеохостинга : ↓↓↓

 

  1. Apache
  2. Python
  3. Linux (SuSe)
  4. MySQL
  5. динамический компилятор Python (имеет высокую производительность)
  6. веб-сервер lighttpd или «лайти», который пришел на смену Apache

 

 

Форматы

 

С момента создания все ролики на хостинге YouTube располагаются в формате более известном как — Adobe Flash Video Или же HTML 5

• Как известно flv-ролики оптимально подходят для воспроизведения онлайн, поскольку сохраняют высокое качество при небольших размерахgood

 

Вероятно, вам уже приходилось сталкиваться в интернете с разнообразными форматами видео. Каждый из них можно воспроизводить конкретным плеером.

К числу наиболее популярных относятся: ↓↓↓

  • QuickTime от компании Apple проигрывает видео с расширением .mov
  • RealMedia – популярный плеер от разработчика RealNetworks воспроизводит формат .rm
  • Microsoft Windows Media – всем известный проигрыватель, который позволяет просматривать ряд потоковых мультимедиа со следующими расширениями: .wma для аудио, .wmv для видео и .asf для потокового видео формата Advanced Streaming
  • Adobe Flash Player работает с популярным форматом f.l.v. а также предназначается для воспроизведения анимированных файлов, которые имеют расширение .swf

Формат видеофайла Flash Video обладает 2 плюсами которые выделяют его среди прочих мультимедийных форматов : 

1) В первую очередь, это высокий уровень сжатия, то есть файлы .flv обычно отличаются меньшим, если сравнивать с другими видеофайлами по их размеру

2) — Для проигрывания таких видео необходимо приложение JAVA- а не устанавливаемый отдельно видеопроигрыватель

 

Создать подобное приложение достаточно просто. В сети существует ряд страниц с подробным описанием того, каким способом написать код для подобной цели…….

 

Ютуб принимает видеофайлы в формате : ↓↓↓

  1. (m.o.v.),
  2. (w.m.v.)
  3. (a.v.i.)
  4. (m.g.p.)

 

Посетители загружают на сервер собственные видеоролики в любом из перечисленных форматов, а Ютуб уже конвертирует их в формат f.l.v.

 

 

Алгоритмы !

 

Алгоритм YouTube — это автоматизированная система, которая определяет то, какие видео увидит пользователь, зайдя на сайт.

Следует выделить шесть ключевых мест, где алгоритм влияет на то, какие именно видео вы увидите: ↓↓↓

  1. Результаты поиска
  2. Раздел «Рекомендации»
  3. Главная страница
  4. Раздел «В тренде»
  5. Раздел, отображающий подписки пользователя
  6. А также любые установленные вами уведомления.

 

→ «Основная цель YouTube — помочь пользователям найти те видеоролики, которые они ищут»

Поисковая Система ранжирования YouTube основывается на том, как аудитория взаимодействует с видео.

Искусственный интеллект «ежедневно изучает более 80 миллиардов байт обратной связи с пользователями, что позволяет предоставлять правильные видео в правильное время».

 

В широком смысле такая обратная связь с аудиторией включает информацию о том: ↓↓↓

  • Что они смотрят (и не смотрят)
  • Сколько времени они тратят на просмотр видеороликов (время просмотра)
  • Сколько времени они тратят на просмотр видеороликов в каждое свое посещение YouTube (время сессии)
  • Лайки, дислайки и отметки « его подобное не интересует »

 

 

Сервера

 

Интернет-серверы : ↓↓↓

  1. Net.Scalar. предназначен для сбалансированной нагрузки а также кэширования постоянной информации
  2. Apache в связке с mod.fast.cgi.
  3. Запросы проходят маршрутизацию с целью обработки сервером программ на Python.

 

 

Видеообслуживание : 

 

1) В стоимость обслуживания включена:

  • пропускная способность видеоканала
  • аппаратное обеспечение
  • и потребление энергии.

 

2) Все ролики принимается маленьким кластером.

Все видеоролики обслуживается больше чем 1 компьютером.

 

Что означает использование кластеров ??? :

  • Большее количество обслуживающих дисков означает большую скорость.
  • Свободное пространство. Если а одном компьютере заканчивается свободное место, то он может перенаправить данные на другой.
  • Онлайн резервные копии.
  • Для видео используется интернет-сервер lighttpd:

 

 

Ключевые моменты видеообслуживания : ↓↓↓

  1. Все операции просты и понятны.
  2. Простой сетевой путь. Между контентом и конечным пользователям находится относительно небольшое количество компьютеров и прочих девайсов. Маршрутизаторы, коммутаторы и другие устройства могут не справиться с такой нагрузкой !!!
  3. Использование недорогого стандартного оборудования. Чем дороже используемое оборудование, тем дороже любые предоставляемые услуги. Кроме того, в таким случае вероятность найти нужную информацию в сети снижается.
  4. Использование простых универсальных инструментов. Большинство используемых инструментов встроено в Linux и надстроено над ними.

 

 

Использование миниатюр (картинок) :

Пример ↓

  • Удивительно тяжело сделать все грамотно.
  • Для каждого видео используется 4 миниатюры. То есть миниатюр больше, чем видео.
  • Миниатюры хранятся лишь на нескольких компьютерах.

 

 

Базы данных

Ранее  Для хранения таких метаданных, как: пользователи, теги и описания использовалась система MySQL !!!

 

Стратегия центра обработки данных : Конспект

 

  1. Использование провайдеров управляемого хостинга на первом этапе. Это единственный возможны вариант при жизни за счет кредитных карт. unknw
  2. Управляемый хостинг не может подстроиться под вас. Вы не сможете контролировать оборудование или создавать благоприятные сетевые соглашения.
  3. Поэтому они заключили соглашение о совместном размещении. Теперь они могут настраивать все по своему собственному смотрению и обсуждать свои собственные соглашения.
  4. Использование 5 или 6 центров обработки данных плюс сеть доставки данных.
  5. Видео выпускается из любого центра обработки данных. Отсутствует соответствие по ближайшему расположению или чему-либо еще. Если видео достаточно популярно, оно перемещается в сеть доставки данных.
  6. Зависимость от широты частоты сигнала, а не времени запаздывания. Может отправляться из любой колокации.
  7. Для изображений время запаздывания имеет значение, особенно когда у вас 60 изображений на одной странице.
  8. Изображения дублируются в разные центры обработки данных при помощи системы управления данными типа BigTable Код анализирует различные показатели, чтобы узнать, кто находится ближе всего !!!

Подпишитесь на новые статьи от 7Youtube.ruplashka

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

© 2017, 7youtube.ru
Копирование материала строго запрещено.

backtotop