Каша из топора. Как я стал сам себе интернет-провайдером
Ты прочел верно: я установил у себя дома дата-центр и стал сам себе провайдером. Не то чтобы я проснулся однажды утром и такой: «Чем бы заняться сегодня? Стану собственным интернет-провайдером». Все происходило постепенно. Как в сказке «Каша из топора» — в какой-то момент я посмотрел и понял: черт побери, да я же сделал собственный дата-центр! И если ты спросишь: «Почему?», я отвечу просто: «Почему бы и нет?»
INFO
Это перевод статьи, впервые опубликованной в блоге Hyperion Gray. Рассказал Джейсон Хоппер, записал Дэвид Таулер, перевела Алёна Георгиева.
На самом деле главной причиной стало то, что я очень много сканирую интернет. Это не какое-то сомнительное сканирование, а вполне себе крутое. В частности, глубоко сканирую каждый IP в интернете — и делаю это чрезвычайно быстро. Что, разумеется, дает очень серьезную нагрузку на мою сеть — и на железо тоже. Сканировать так через традиционного провайдера почти невозможно: обычно они имеют строгие ограничения, а достаточной пропускной способности, напротив, не имеют. Есть, конечно, сервисы, которые позволяют использовать базу данных, но с ними столь объемное сканирование становится слишком дорогим — и довольно быстро.
У меня было 250 тысяч долларов на счету одного провайдера VSP, да еще и с ограничением по времени (как я к этому пришел — отдельная большая история). И когда эти деньги закончились — а они закончились, и быстро, — мне пришлось искать какой-то другой вариант.
Я стал придумывать что-то еще и после некоторых подсчетов обнаружил, что купить сервер в моей ситуации дешевле — настолько, что в итоге он окупился примерно за полгода. Большинство компаний полагают, что лучше пользоваться облачным провайдером, — а может, всего лишь не хотят разбираться, — и просто исправно оплачивают выставленные счета. Но для технологических компаний вроде нашей, кому нужно не только сайт захостить, это не вариант.
«Что представляет собой процесс?»
Поскольку повышенной секретности не требовалось, я пошел официальным путем (вах-вах!). Обратился к Канадской комиссии по радио, телевидению и телекоммуникациям (CRTC), канадскому аналогу Федеральной комиссии по связи Соединенных Штатов (FCC), чтобы получить базовую лицензию международных телекоммуникационных сервисов (BITS), — в общем, Очень Много Аббревиатур.
INFO
От редакции: в России функции организаций, обозначенных этими сокращениями, выполняет Роскомнадзор. Если вдруг решишься на беспримерный подвиг, ищи в первую очередь две лицензии — на телематические услуги и на передачу данных за исключением передачи данных для целей голосовой информации (то есть без IP-телефонии, на нее нужна отдельная лицензия).
Здесь потребовались кое-какие юридические действия, нотариус и оформление бумаг в трех экземплярах, но ходить на голове не пришлось — в целом это вполне осуществимо. Ой, чуть не забыл — есть еще период общественного обсуждения заявки на лицензию, когда люди могут написать, что они думают по этому поводу. Я не получил ни одного комментария… (Всплакнул.)
Когда юридическая подготовка успешно завершилась и я получил официальное разрешение продавать интернет, началось самое интересное. Право-то я получил — но продавать мне было нечего. Сам процесс меня знатно фрустрировал, а стоимость интернета, который я мог бы перепродавать, была очень высокой. И что же делать?
Окей, несколько лет назад я познакомился с владельцем одного интернет-провайдера, и он рассказал мне об «оптовом» интернете от большого канадского провайдера Bell. Сам Bell об этой услуге не распространяется — оно и понятно: зачем отдавать даром то, что можно продать подороже? Правда, была одна серьезная проблема: чтобы продавать в розницу «оптовый» интернет, нужно было протянуть оптоволокно от крупного узла доступа в мой дом. А это дополнительное строительство, разрешения от города и куча других накладных расходов — в общем, месячная стоимость выходила за разумные пределы. А если еще учесть, что договор нужно заключать минимум на шесть лет…
Лучше застрелите… Цитируя бессмертные слова Эксла Роуза, «куда мы теперь?».
Другой вариант: у одного реселлера интернета от Bell было существенно более доступное, но все еще дорогое предложение. Я знаю, о чем ты сейчас думаешь: «Эй, Джейсон, а почему ты просто не арендуешь стойку в колокационном центре?» Хороший вопрос. Я пробовал, но каждый новый сервер заметно увеличивает арендную плату. C сетью все было пристойно, но я должен был делить ее с другими людьми — а это значит, что, если у меня или у них будет какой-то программный баг, может рухнуть вся сеть, и никого это не порадует.
Помимо всего прочего, это все еще очень дорого — и я бы переплачивал за функции, которые не собираюсь использовать. Такой план был бы жизнеспособен, если бы у меня был фиксированный набор требований к оборудованию и я ничего не менял. Но в том-то и загвоздка: мое сканирование в ряду многих других операций не будет статичным; напротив, оно будет более чем динамичным. Так что пришлось бы постоянно менять настройки и функции — а это такая головная боль, что оно того не стоит. Но и это еще не все (глубокий вдох): колокации заявляют, что они работают безотказно 99,99999% времени — этот показатель называют «пять девяток». Но если ты готов запустить сервер самостоятельно и согласиться на 99,9% — удивительная разница! — можно сэкономить немного денег. Ну и за нежелательные функции, включенные в стоимость, переплачивать не придется.
«Что же ты сделал?»
Выяснил, как построить собственную сеть, собрал билд, дополнил его диаграммой сети и выложил на обсуждение в сабреддит /r/homelab. И да, мой ник на «Реддите» реально 420SwagBootyWizzard — смирись с этим.
Двигаемся дальше: в сети есть пять основных компонентов, у всех названия из «Стартрека».
- USS Defiant — Dell R710, основной шлюз обмена сообщениями. Размещает и анализирует все мои данные, а также управляет ими. Учитывая, что данные я собираю по всему интернету, на этом сервере висит довольно много работы.
- Picard — моя установка глубокого обучения, обладающая несколькими графическими процессорами (GPU) и самым мощным в дата-центре CPU. Ее главная функция — быть машиной глубокого обучения и анализа. Она очень экономит время, когда я работаю над очередным проектом — аналитическим или по машинному обучению.
- Janeway — очень мощная база данных с твердотельным накопителем (SSD) большого объема. В ней собраны несколько SSD «корпоративного уровня». База данных должна иметь очень высокую скорость записи, чтобы не отставать от поступающих данных, и располагать многотерабайтным хранилищем. Собрать этот сервер было довольно сложно. Он должен не только быстро записывать, но и быстро считывать, выдерживать интенсивную запись, а также иметь большую вместимость. Удовлетворить все эти требования было непросто. Я подсчитал, что обычный SSD (например, Samsung Evo 860), скорее всего, умрет за год использования.
- Дальше идет Delta Flyer, еще один Dell R710. Это сервер моей виртуальной машины, на котором крутится среда Proxmox.
- И наконец, Databanks (я планировал назвать его в честь бортового компьютера корабля «Энтерпрайз», но не смог найти имя — если кто-нибудь подскажет, буду признателен). В основном он работает как сервер DNS и сетевой накопитель (NAS) от Synology. Он имеет очень большую емкость и используется главным образом для бэкапов и архивирования — но его можно подцепить к любой виртуальной машине или другому серверу, которому нужно хранить несколько больших папок.
WWW
Если хочешь узнать побольше о DNS-серверах и их использовании в кибератаках, загляни в мой блог.
Заодно мы перестроили наш дом — в смысле, я такой: камон, это лучший момент, чтобы добавить еще немного проводки! До этого моя жена думала, что я просто чуть более чокнутый, чем обычно, — но теперь она все поняла и оценила. После ремонта дома и укладывания новой проводки я пошел еще дальше — и разорился на остекленный дата-центр и пару точек доступа Wi-Fi бизнес-класса. В итоге получилась очень маленькая комната — но много места под мои нужды.
Я уверен, ты уже оценил, насколько значительны затраты: серверы, корпус, направляющие, распределение питания, источник бесперебойного питания (просто большой аккумулятор — чтобы при перебоях электроэнергии компы продолжали работать) и так далее. Все нарастает как снежный ком — и довольно быстро. Но, с другой стороны, поскольку теперь я технически лицензированный интернет-провайдер, я могу легально продавать интернет своим соседям — что, конечно, довольно гнусно. Однако куда важнее, что все это может облегчить мои исследования достаточно эффективным экономически способом. И хотя в целом проект дорогой, в долгосрочной перспективе все вполне рентабельно и реально может отбиться за первые несколько лет. И я знаю, что прыгнул прямо сейчас на двадцать уровней крутости вверх, — но постараемся держать себя в руках, верно? 😛
«Что собираешься делать дальше?»
Поскольку работа еще не завершена, я не могу выстроить четкой картины будущего. Полагаю, что буду развивать и развивать свой проект, потому что, если честно, мне нравится быть самому себе провайдером — можно даже сказать, королем собственного домена. Теперь у меня есть свобода, скорость и пропускная способность, чтобы сканировать то, что мне нравится, и так часто, как я хочу. Я не говорю, что тебе обязательно стоит последовать моему примеру, — говорю лишь, что ты мог бы. Это было на удивление легко и очень весело.
Одной из первых идей было предложить этот путь исследователям инфосека, потому что, например, мы этим уже занимаемся, — и теперь, когда проект запущен и работает, мы определенно хотим предложить его тем, кто профессионально исследует инфобезопасность. Когда я выяснил, насколько трудно исследовать информационную безопасность крупных облачных провайдеров, я подумал: а ведь было бы неплохой идеей поддержать исследования, предоставив доступ к общим датасетам и совместным исследованиям. И хотя с тех пор мы немного отошли от этой мысли из-за особенностей логистики и управления клиентами, это определенно остается вариантом на будущее.
Внешняя локальная сеть/ Локальная сеть провайдера
Эта ветка закрыта для дальнейших ответов. Вы можете создать новую тему, чтобы поделиться своими идеями или задать вопросы.
Внешняя локальная сеть/ Локальная сеть провайдера
Эта ветка закрыта для дальнейших ответов. Вы можете создать новую тему, чтобы поделиться своими идеями или задать вопросы.
Аппаратная версия устройства : WR842ND v1 00000000
Версия прошивки : 3.12.22 Build 120424 Rel.39632n
Ваша страна : Россия
Название провайдера : Kaspnet
Тип подключения : PPPoE
Скорость по тарифу : 2 Mbit
Подключение с ПК по wifi или по кабелю? : Wi-Fi
Ваша операционная система : Windows 7
Антивирусные программы и фаерволы : Avast
Добрый день! Необходимо получить доступ к локальной сети провайдера (внешняя локальная сеть). Каким образом я могу это сделать ?
- Копировать ссылку
- Подписаться
- Добавить в закладки
- Пожаловаться на неуместный контент
[quote=»murads60″]Добрый день! Необходимо получить доступ к локальной сети провайдера (внешняя локальная сеть). Каким образом я могу это сделать ?[/quote] У провайдера может не быть своей локальной сети с ресурсами. Если она все же есть, то вам нужно выяснить как получается 2-й адрес в этой локальной сети (Static/Dynamic), т.е. это реализация т.н. подключения к провайдеру через технологию PPPoE/Russia PPPoE (PPPoE Dual Access).
Для начала зайдите в настройки роутера в раздел «Network/WAN» и выставите для параметра «Secondary Connection» значение «Dynamic IP». После этого посмотрите будет ли получен IP Address и появились ли новые маршруты в разделе «Advanced Routing/System Routing Table».
[quote=»Rolis»] [quote=»murads60″]Добрый день! Необходимо получить доступ к локальной сети провайдера (внешняя локальная сеть). Каким образом я могу это сделать ?[/quote] У провайдера может не быть своей локальной сети с ресурсами. Если она все же есть, то вам нужно выяснить как получается 2-й адрес в этой локальной сети (Static/Dynamic), т.е. это реализация т.н. подключения к провайдеру через технологию PPPoE/Russia PPPoE (PPPoE Dual Access).
Для начала зайдите в настройки роутера в раздел «Network/WAN» и выставите для параметра «Secondary Connection» значение «Dynamic IP». После этого посмотрите будет ли получен IP Address и появились ли новые маршруты в разделе «Advanced Routing/System Routing Table».[/quote] Раньше провайдер давал всем статический ip, с недавних пор он стал раздавать их динамически, но осталась возможность самому прописать необходимый ip что в локальной сети быть постоянно под одним и тем же ip, чем я раньше и пользовался когда был соединен через кабель.
Сделал как вы сказали получил ip 192.168.35.90
вот таблица маршрутизации
ID Destination Network Subnet Mask Gateway Interface
1 37.29.107.104 255.255.255.255 0.0.0.0 WAN
2 192.168.35.0 255.255.255.0 0.0.0.0 WAN
3 192.168.1.0 255.255.255.0 0.0.0.0 LAN & WLAN
4 239.0.0.0 255.0.0.0 0.0.0.0 LAN & WLAN
5 0.0.0.0 0.0.0.0 37.29.107.104 WAN
то есть у меня получается мой внешний ip локальной сети 192.168.35.90 где шлюз: 192.168.35.1