Система передачи данных linux

Передача данных через UNIX сокеты¶

Сокет домена Unix (англ. Unix domain socket, UDS) или IPC-сокет (сокет межпроцессного взаимодействия) — конечная точка обмена данными, подобная Интернет-сокету, но не использующая сетевой протокол для взаимодействия (обмена данными). Используется в операционных системах, поддерживающих стандарт POSIX, для межпроцессного взаимодействия.

Доменные соединения Unix являются по сути байтовыми потоками, сильно напоминая сетевые соединения, но при этом все данные остаются внутри одного компьютера (то есть обмен данными происходит локально). UDS используют файловую систему как адресное пространство имен, то есть они представляются процессами как иноды в файловой системе. Это позволяет двум различным процессам открывать один и тот же сокет для взаимодействия между собой. Однако, конкретное взаимодействие, обмен данными, не использует файловую систему, а только буферы памяти ядра.

Пример передачи в одну сторону¶

Сервер¶

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

import os import socket SOCKET_FILE = './echo.socket' if os.path.exists(SOCKET_FILE): os.remove(SOCKET_FILE) print("Открываем UNIX сокет. ") server = socket.socket(socket.AF_UNIX, socket.SOCK_DGRAM) server.bind(SOCKET_FILE) print("Слушаем. ") while True: datagram = server.recv(1024) if not datagram: break else: print("-" * 20) print(datagram) if b"DONE" == datagram: break print("-" * 20) print("Выключение. ") server.close() os.remove(SOCKET_FILE) print("Выполнено")

Клиент¶

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

import os import socket SOCKET_FILE = './echo.socket' print("Подключение. ") if os.path.exists(SOCKET_FILE): client = socket.socket(socket.AF_UNIX, socket.SOCK_DGRAM) client.connect(SOCKET_FILE) print("Выполнено.") print("Ctrl-C чтобы выйти.") print("Отправьте 'DONE' чтобы выключить сервер.") while True: try: x = input("> ") # for py2 use raw_input if "" != x: print("ОТПРАВЛЕНО: %s" % x) client.send(x.encode('utf-8')) if "DONE" == x: print("Выключение.") break except KeyboardInterrupt as k: print("Выключение.") break client.close() else: print("Не могу соединиться!") print("Выполнено")

Источник

Сокеты в ОС Linux

В данной статье будет рассмотрено понятие сокета в операционной системе Linux: основные структуры данных, как они работают и можно ли управлять состоянием сокета с помощью приложения. В качестве практики будут рассмотрены инструменты netcat и socat.

Что такое сокет?

Сокет — это абстракция сетевого взаимодействия в операционной системе Linux. Каждому сокету соответствует пара IP-адрес + номер порта. Это стандартное определение, к которому привыкли все, спасибо вики. Хотя нет, вот здесь лучше описано. Поскольку сокет является только лишь абстракцией, то связка IP-адрес + номер порта — это уже имплементация в ОС. Верное название этой имплементации — «Интернет сокет». Абстракция используется для того, чтобы операционная система могла работать с любым типом канала передачи данных. Именно поэтому в ОС Linux Интернет сокет — это дескриптор, с которым система работает как с файлом. Типов сокетов, конечно же, намного больше. В ядре ОС Linux сокеты представлены тремя основными структурами:

1. struct socket — представление сокета BSD, того вида сокета, который стал основой для современных «Интернет сокетов»;
2. struct sock — собственная оболочка, которая в Linux называется «INET socket»;
3. struct sk_buff — «хранилище» данных, которые передает или получает сокет;

Как видно по исходным кодам, все структуры достаточно объемны. Работа с ними возможна при использовании языка программирования или специальных оберток и написания приложения. Для эффективного управления этими структурами нужно знать, какие типы операций над сокетами существуют и когда их применять. Для сокетов существует набор стандартных действий:

• socket — создание сокета;
• bind — действие используется на стороне сервера. В стандартных терминах — это открытие порта на прослушивание, используя указанный интерфейс;
• listen — используется для перевода сокета в прослушивающее состояние. Применяется к серверному сокету;
• connect — используется для инициализации соединения;
• accept — используется сервером, создает новое соединение для клиента;
• send/recv — используется для работы с отправкой/приемом данных;
• close — разрыв соединения, уничтожение сокета.

Если о структурах, которые описаны выше, заботится ядро операционной системы, то в случае команд по управлению соединением ответственность берет на себя приложение, которое хочет пересылать данные по сети. Попробуем использовать знания о сокетах для работы с приложениями netcat и socat.

netcat

Оригинальная утилита появилась 25 лет назад, больше не поддерживается. На cегодняшний день существуют порты, которые поддерживаются различными дистрибутивами: Debian, Ubuntu, FreeBSD, MacOS. В операционной системе утилиту можно вызвать с помощью команды nc, nc.traditional или ncat в зависимости от ОС. Утилита позволяет «из коробки» работать с сокетами, которые используют в качестве транспорта TCP и UDP протоколы. Примеры сценариев использования, которые, по мнению автора, наиболее интересны:

• перенаправление входящих/исходящих запросов;
• трансляция данных на экран в шестнадцатеричном формате.

Опробуем операции в действии. Задача будет состоять в том, что необходимо отправить TCP данные через netcat в UDP соединение. Для лабораторной будет использоваться следующая топология сети:

1. Введем команду на открытие порта на машине Destination: nc -ulvvp 7878
2. Настроим машину Repeater. Так как передача из одного интерфейса этой машины будет происходить по протоколу TCP, а на другой интерфейс будет осуществляться передача по протоколу UDP, то для таких действий необходимо сделать соединитель, который сможет накапливать данные и пересылать их между открытыми портами. На такую роль отлично подходит FIFO файл. Поэтому команда для запуска будет выглядеть так: sudo mkfifo /tmp/repeater #создать FIFO файл
   sudo nc -l -p 4545 > /tmp/repeater | nc -u 10.0.3.5 7878 < /tmp/repeater IP адрес 10.0.3.5 - адрес машины Destination. Символы "|" и ">
3. Запускаем соединение из машины Source: nc 10.0.2.4 4545

В итоге получаем возможность читать данные от машины Source:

Пример с трансляцией данных в шестнадцатеричном формате можно провести так же, но заменить команду на Destination или добавить еще один пайп на Repeater:

В результате будет создан файл, в котором можно будет обнаружить передаваемые данные в шестнадцатеричном формате:

Как видно из тестового сценария использования, netcat не дает контролировать практически ничего, кроме направления данных. Нет ни разграничения доступа к ресурсам, которые пересылаются, ни возможности без дополнительных ухищрений работать с двумя сокетами, ни возможности контролировать действия сокета. Протестируем socat.

socat

Инструмент, который до сих пор поддерживается и имеет весьма обширный функционал по склейке каналов для взаимодействия. Разработчиками инструмент именуется как netcat++. Ниже приведем небольшой список того что можно перенаправить через socat:

• STDIO -> TCP Socket;
• FILE -> TCP Socket;
• TCP Socket -> Custom Application;
• UDP Socket -> Custom Application;
• Socket -> Socket.

Для повседневного использования достаточно опций, но если понадобится когда-то работать напрямую с серийным портом или виртуальным терминалом, то socat тоже умеет это делать. Полный перечень опций можно вызвать с помощью команды:

Помимо редиректов socat также можно использовать как универсальный сервер для расшаривания ресурсов, через него можно как через chroot ограничивать привилегии и доступ к директориям системы.

Чтобы комфортно пользоваться этим инструментом, нужно запомнить шаблон командной строки, который ожидает socat:

socat additionalOptions addr1 addr2

• additionalOptions — опции, которые могут добавлять возможности логирования информации, управления направлением передачи данных;
• addr1 — источник данных или приемник (влияет использование флага U или u), это может быть сокет, файл, пайп или виртуальный терминал;
• addr2 — источник данных или приемник (влияет использование флага U или u), это может быть сокет, файл, пайп или виртуальный терминал;

Попробуем провести трансляцию данных из сокета в сокет. Будем использовать для этого 1 машину. Перед началом эксперимента стоит отметить, что особенностью socat является то, что для его корректной работы нужно обязательно писать 2 адреса. Причем адрес не обязательно должен быть адресом, это может быть и приложение, и стандартный вывод на экран.

Например, чтобы использовать socat как netcat в качестве TCP сервера, можно запустить вот такую команду:

socat TCP-LISTEN:4545, STDOUT

Для коннекта можно использовать netcat:

При таком использовании, socat дает возможность пересылать сообщения в обе стороны, но если добавить флаг «-u», то общение будет только от клиента к серверу. Все серверные сообшения пересылаться не будут:

Настроим более тонко наш сервер, добавив новые опции через запятую после используемого действия:

socat TCP-LISTEN:4545,reuseaddr,keepalive,fork STDOUT

Дополнительные параметры распространяются на те действия, которые socat может выполнять по отношению к адресу. Полный список опций можно найти здесь в разделе «SOCKET option group».

Таким образом socat дает практически полный контроль над состоянием сокетов и расшариваемых ресурсов.

Статья написана в преддверии старта курса Network engineer. Basic. Всех, кто желает подробнее узнать о курсе и карьерных перспективах, приглашаем записаться на день открытых дверей, который пройдет уже 4 февраля.

Источник

Русские Блоги

Управление доступом в Linux (1) процесс передачи данных Linux

Во-первых, процесс упаковки, когда хост отправляет пакет

1. Упаковано заголовок TCP: сегмент TCP
2. Продолжать инкапсулировать заголовки IP: Datasheers IP (IP Datagram)
3. Голова Ethernet и хвост Ethernet инкапсулируются в слое сетевого интерфейса: рама

• Отчет о данных IP: состоит из IP-заголовков, заголовков и данных TCP. Одно поле в заголовке IP представляет собой поле, используемое для хранения общей длины DataGram IP, и данные, хранящиеся в этом поле, — это размер IP DataGram вместо размера всего пакета. IP DataGrams должен быть полным пакетом и должен продолжать инкапсулировать голову и хвост Ethernet, а полный пакет также называется рамой Ethernet.

Во-вторых, система нативных данных Linux

2.1 Способы передачи данных между этим процессом машины

Модель связи OSI — это механизм передачи сетевых данных на основе сокетов, который может использоваться для процессов связи между различными хостами.Может использоваться для этого устройстваОбщение клиентского и серверного процесса.

Передача сетевых данных является дополнительном процессом. Если связь между различными процессами этой машины необходимо выйти из сокета, из другого сокета, и передавать данные в данном устройстве не требуется. И физическая сетевая карта, но через Настроенное возвращающееся кольцо (порт обрабок), чтобы найти разъем соответствующего процесса.

2.2 Данные для передачи на хосте Linux

1. Хозяин принял данные, отправленные внешним миром.
2. Решение маршрутизации (В пространстве ядра), Согласно пункту назначения данныхРешил, принимает ли эта машина или пересылает другим хозяевам。

• В единицу

2.1 Данные из пространства ядра вПользовательское пространствоТак называемое входящее пользовательское пространство также принимается и обработано процессом.

2.2 Приложение генерирует новый пакет (Пользовательский пространственный ответ）。

2.3 Пакеты вводятПространство ядра, Решения маршрутизации, переадресация сетевой карты используется на основе цели.

2. На функции ip_forward. (Функция пространства ядра может быть перенаправлена ​​после открытия, в противном случае полученный пакет данных будет отброшен.）

2.2 Судействуя какую сетевую карту следует пересылать IP_Forward (Нет переписки, маршрут отбрасывается), Пропустите пакет из сети потока до сетевой карты оттока.

2.3 схема

2.4 IP_Forward Open Method

[[email protected] ~]# cat /proc/sys/net/ipv4/ip_forward 0 

Источник