Linux

  • Команды для создания скрипта бэкапа – резервного копирования для AWS EC2 в AMI, Snapshot

    23 Янв 2018
    Admin
    722
    0
    Linux

    aws ec2 describe-instances –filters Name=tag:Backup,Values=true

    aws ec2 describe-instances –filters Name=tag:Backup,Values=true Name=instance-state-name,Values=running

    aws ec2 create-image –instance-id i-0babc6340c19f316a –name “OpsWork” –description $(date +%Y%m%d) $(aws ec2 describe-instances|egrep –no-reboot

    aws ec2 describe-instances –filters Name=tag:Backup,Values=true Name=instance-state-name,Values=running|grep InstanceId|cut -d ‘”‘ -f 4

    aws ec2 create-image –instance-id $(aws ec2 describe-instances –filters Name=tag:Backup,Values=true Name=instance-state-name,Values=running|grep InstanceId|cut -d ‘”‘ -f 4) –name EC2_backup_$(aws ec2 describe-instances –filters Name=tag:Backup,Values=true Name=instance-state-name,Values=running|grep InstanceId|cut -d ‘”‘ -f 4) –description “$(date +%F) $(aws ec2 describe-instances –filters Name=tag:Backup,Values=true Name=instance-state-name,Values=running|grep InstanceId|cut -d ‘”‘ -f 4)” –no-reboot

     

    aws ec2 describe-images –owners self
    aws ec2 describe-snapshots –owner-ids 555272442455
    aws ec2 deregister-image –image-id
    aws ec2 delete-snapshot –snapshot-id

    aws ec2 describe-snapshots –owner-ids 555272442455 |grep |grep SnapshotId|cut -d ‘”‘ -f4

    aws ec2 describe-snapshots –snapshot-id snap-0d6654a434c57f81e –query Snapshots[].Description
    aws ec2 describe-images –image-id ami-834ec5ec ami-5559d23a ami-0353d86c –query Images[].Description

    snapshot_date_in_seconds=$(date “–date=$snapshot_date” +%s)

     

    Читать далее

  • Создание полезных функций и алиасов для окружения в Linux

    25 Июн 2016
    Admin
    2014
    0
    Linux

    Здесь вы сможете найти пару полезных function и alias для вашего файла .bashrc или .bash_profile для вашего Linux (Debian, Ubuntu, Mint, CentOS, RHEL), которые оптимизируют вашу работу в сторону ускорения и облегчения. (далее…)

    Читать далее

  • Примеры команды sed и полезные скрипты на одну строку для работы с текстом

    20 Апр 2016
    Admin
    2292
    0
    Linux

    Удалить последние 5 строк в файле (далее…)

    Читать далее

  • Как включить tun/tap и ppp для контейнера под OpenVZ

    12 Мар 2016
    Admin
    2805
    0
    Linux

    Инструкция по настройке ppp и tun/tap для VPS/VDS

    Читать далее

  • Как сгенерировать самоподписанный SSL v3 в Linux CentOS, Ubuntu

    31 Янв 2016
    Admin
    1150
    0
    Linux

    Команда для Linux, которая генерирует новый самоподписанный сертификат SSL v3:

    Сертификат и ключ к нему будет размещен в той же папке где вы находитесь и их имена будут для сертификата ssl.crt  и у ключа соответственно ssl.key  .

    Чтобы узнать информацию про сертификат, его SHA1 fingerprint и версию выполните команду:


    Если у вас возникли вопросы или предложения можете писать их в комментарии.
    Читать далее

  • Простые способы автозамены текста в Linux через SSH

    22 Окт 2015
    Admin
    1495
    0
    Linux

    Иногда возникает необходимость выполнить автозамену большого количества фрагментов текста в одном или нескольких файлах для этого существуют простые ssh команды для автозамены текста.

    Автозамена текста в одном файле

     

    В данной команде всё интуитивно понятно, file.txt это наш файл в котором мы будем делать автозамену, 1fragment – фрагмент текста, который нужно заменить, 2fragment – фрагмент текста, который нужно вставить (то есть тот на, который нам нужно изменить).

    Автозамена текста в нескольких файлах

    Вариант 1 с поиском файлов содержащими определённый текст.

     

    Такой вариант автозамены слов в файлах. Сначала мы ищем все файлы которые содержат слово text_fragment затем изменяем слово text_fragment на text_fragment2 опять же всё довольно просто и удобно.

    Вариант 2 с поиском файов по заданной маске или имени.

     

    Ищем файлы по маске  “\*.conf” то есть содержащие в конце имени такой текст “\*.conf” и производим во всех найденных файлах автозамену текста text_to_replace1 на text_to_replace2.

    Если у вас возникли вопросы или предложения можете писать их в комментарии.
    Читать далее

  • Как очистить swap-файл (своп) в Linux CentOS

    10 Апр 2015
    Admin
    6890
    2
    Linux

    Виртуальная память в ОС Linux часто называется файлом подкачки и используется когда физическая память RAM заполнена. Когда системе нужная память и RAM-память заполнена неактивные страницы будут перемещены в swap-файл, к сожалению файл подкачки это не полноценная замена оперативной памяти, а всего лишь некоторый объем выделенного места на диске, который задается при установке операционной системы Linux.

    Иногда система может зарезервировать место в swap-файле даже если в наличии есть достаточно оперативной памяти, это может быть вызвано тем, что неактивные страницы были перемещены в файл подкачки в момент когда был дефицит оперативной памяти RAM и не смогли вернуться в физическую память в нормальном состоянии

    Если вы не уследили за заполнением оперативной памяти и данные начали свопиться в swap-файл то после исправления проблемы и остановки процесса жрущего память вам нужно будет очистить своп-файл и сделать это можно следующими командами:

    Выключаем своп-файл для того, чтобы данные с него удалились командой в ssh консоли:

     

    После этого swap-файл нужно включить обратно, делаем это следующей командой в ssh консоли:

     

    Также для того, чтобы понять какой процесс загрузил swap раздел нужно запустить команду top (диспетчер процессов) и нажать F потом P потом клавишу Enter после этого вы увидите дополнительный столбец в top диспетчере и сможете отсортировать процессы по используемой памяти сочетанием клавиш Shift+M и далее по PID процесса удаляйте через команду kill -9 PID.

    Если у вас возникнут трудности или вопросы, вы можете задать их в комментарии.
    Читать далее

  • Как восстановить hardlink-и логов пользователей в ISPmanager

    14 Фев 2015
    Admin
    1701
    0
    CentOS, Ошибки и Решения

    Массовое восстановление хардлинков в папках /var/www/httpd-logs/ и /var/www/USERNAME /data/logs/ у пользователей  панели ISPmanager

    Это можно сделать одним простым способом через perl скрипт введенный прямо в командную строку:

    В переменную USERNAME необходимо вставлять нужного пользователя из раздела “Пользователи” то есть того для, которого нужно восстановить логи, в нашем коде вписан NOVALLNET его и нужно заменить на имя вашего пользователя.

    Если у вас файлы логов присутствуют на местах но логи туда не записываются удалите файлы логов из папки /var/www/USER/data/logs/ и затем запускайте скрипт он создаст хардлинки для логов автоматически.

    Читать далее

  • РЕШЕНИЕ проблемы CentOS 6 “bash: scp: command not found”

    9 Июл 2014
    Admin
    2143
    0
    CentOS

    У пользователей VPS серверов или выделенных серверов иногда возникает проблема при переносе файлов посредством SCP протокола, к примеру при попытке копирования с вашего старого сервера на новый вы получаете ошибку: “bash: scp: command not found” это обусловлено тем, что на вашем новом сервере не установлен SCP клиент. Решение это проблемы довольно простое и выглядит оно так, вам нужно установить пакет openssh-clients делается это командой: 

    Нет необходимости долго искать нужный пакет в котором будет включен SCP клиент это уже сделано за вас, просто запустите команду написанную выше. Если у кого-то возникнут проблемы, пишите в комментарии постараюсь вам помочь.

    Читать далее

  • Самые нужные и полезные SSH-команды Linux

    21 мая 2014
    Admin
    9943
    2
    Linux

    В статье приведен список команд и описаний, которые ДОЛЖЕН ЗНАТЬ каждый пользователь или администратор VDS (VPS) или выделенного (dedicated)  сервера, либо же пользователь домашнего настольного компьютера, в случае с настольным компьютером  это уже не так необходимо, как раньше, когда Linux даже на настольном компьютере управлялся в основном из консоли.

    Все команды подходят для практически любого дистрибутива Linux будь это Debian, Ubuntu, RedHat, CentOS, Linux Mint или другие дистрибутивы. Хотя чаще всего для серверного оборудования используется Linux CentOS.

    БЫСТРАЯ НАВИГАЦИЯ ПО КОМАНДАМ

    Общие команды Linux

    date MMDDhhmmCCYY.ss – Настройка даты и времени на вашем сервере или компьютере. MM — месяц, DD — день месяца, hh — часы, mm — минуты, CCYY — 4 цифры года, ss — секунды;

    uname -a – Команда выводит на экран версию ядра Linux;

    man hier – Команда выводит на экран описание иерархии файловой системы (для чего нужна каждая директория в linux);

    clear – Команда выполняет очищение экрана терминала;

    date – Команда выводит на экран текущую дату и время на сервере;

    uptime – Команда выводит на экран текущее время и работу системы без перезагрузки и выключения;

    hostname – Команда выводит на экран сетевое имя компьютера;

    whois novall.net – Команда выводит на экран информацию о доменом имени Novall.net;

    wget https://novall.net/wp-content/themes/made/images/novall_logo.png – Команда скачивает файл  в текущую папку;

    !!  – Повторить последнюю команду;

    history | tail -50 – Команда выводит на экран  последние 50 набранных команд из истории ввода вашего пользователя;

    exit – Завершить сеанс текущего пользователя;

    passwd – Изменить пароль текущего пользователя;

    shutdown -h now – Выключить сервер, компьютер (требует права суперпользователя root);

    reboot – Перезагрузить систему (требует права суперпользователя root);

    last reboot – Команда выводит на экран cтатистику перезагрузок;

    exim -bpc – Проверить очередь писем на почтовом агенте Exim:

    exipick -i | xargs -i exim -Mrm {} – Команда для очистки очереди писем почтового агента Exim на вашем сервере

    exim -bP | grep message_size_limit – Проверка лимитов по отправке писем для exim

    cat /etc/*release* – Отобразить релиз версию ОС Linux CentOS

    Работа с файлами и директориями

    cd  – Команда перехода в директорию

    pwd  – Вывести на экран текущий путь директории в которой находитесь;

    ls – Вывести на экран список файлов и каталогов по порядку;

    ls -laX – Вывести на экран форматированный список всех файлов и директорий, включая скрытые;

    cd ~ – Перейти в домашнюю директорию пользователя;

    cd /var/log – Перейти в директорию /var/log ;

    touch /home/fayl2 – Создать пустой файл по адресу /home/fayl2 (название файла fayl2) ;

    cat /home/fayl2 – Вывести на экран содержимое файла /home/fayl2 ;

    tail /var/log/messages – Вывести на экран только конец файла. Лучше всего использовать при работе с логами и большими файлами;

    nano /home/fayl2 – Редактировать файл /home/fayl2;

    cp /home/novall/log_file.txt /home/log_file.txt – Команда скопирует файл по адресу /home/novall/log_file.txt в файл по адресу /home/log_file.txt;

    mkdir /home/novall/vds – Создать директорию с именем vds;

    rmdir /home/novall/vps – Удалить директорию с именем vps;

    rm -rf /home/novall/dedicated – Команда безвозвратно удалит директорию dedicated со всеми вложенными фалами (ОСТОРОЖНО ИСПОЛЬЗУЙТЕ ЭТУ КОМАНДУ!);

    cp -la /papka1 /papka2 – Команда скопирует директорию papka1 в директорию с именем papka2;

    mv /papka1 /papka2 –  Команда для переименования файлов и папок;

    du -sh /var/log/  – Вывод на экран размера заданной директории. Можно использовать для определения размера файлов. Нужная команда для пользователей VPS и DEDICATED для определения папок и файлов, которые занимают больше всего места;

    locate my.cnf – Ищет все файлы с именем my.cnf;

    grep -lR ‘novall.net’ * – Найти все файлы которые содержат текст “novall.net” в текущей директории;

    rsync -av /source/novall/old/ root@novall.net:/destination/novall.net/ – Команда синхронизирует файлы и папки между источником и конечной папкой, можно выполнять как на локальной машине так и с подключением по ssh к удаленной машине, причем удаленная машина может быть, как источником с которого будут синхронизироваться файлы так и конечной папкой. Нужная команда при переносе данных;

    wget -r –no-parent ftp://login:password@ftp.novall.net/my-archive/ – Скачать все файлы, папки и подпапки вглубь иерархии каталогов не поднимаясь выше;

    Привилегии и права доступа

    chmod 0777 /home/ – Команда изменяет права доступа для папки /home. Права 0777 – разрешение на чтение/запись/исполнение для всех групп;

    chmod -R 0777 /log/ – Рекурсивно изменить права доступа к директории /log. 777 – разрешение на чтение/запись/исполнение для всех групп. Все вложенные директории и файлы будут иметь права 0777;

    chown novall:novall /var//log/log_file.txt – Изменение владельца и группы только для файла /var/log/log_file.txt;

    chown -R novall /dev/ – Изменение владельца для всего содержимого директории /dev;

    chattr – Команда изменяет атрибуты файлов на файловых системах ext2fs, ext3, ext4 и частично на других файловых системах ОС Linux;

    chattr +ai – Команда изменяет атрибуты файла, после выполнения команды в файл можно добавлять данные но не изменять те данные, что уже внесены в файл;

    Команды для работы с архиватором TAR в Linux

    tar cf archive.tar /home/archive.txt – Создать tar-архив с именем archive.tar содержащий /home/archive.txt;

    tar czf archive.tar.gz /home/archive.txt – Cоздать tar-архив с сжатием Gzip по имени archive.tar.gz;

    tar cjf archive.tar.bz2 /home/archive.txt – Cоздать tar-архив с сжатием Bzip2 по имени archive.tar.bz;

    tar xf archive.tar – Распаковка архива archive.tar в текущую папку;

    tar xzf archive.tar.gz – Распаковать архив с Gzip-сжатием;

    tar xjf archive.tar.bz – Распаковать tar-архив с Bzip2-сжатием;

    Команды для мониторинга работы системы и нагрузки сервера

    Все показания команд выводятся на экран в реальном времени. Цифра после команды означает интервал между обновлением информации.

    top – Информация о системе в реальном времени. Текущие процессы, потребление ОЗУ;

    htop  – Более расширенная утилита для просмотра статистики о текущих процессах (требует дополнительной установки);

    dmesg – Отображает log-файл загрузки ОС Linux и подключения новых устройств;

    mpstat 1 – Отображает на экране расширенную статистику потребления ресурсов системы в процентах ( иногда необходима установка пакета sysstat);

    vmstat 2 – Отображает расширенную статистику по использованию виртуальной памяти;

    iostat 2 – Отображает расширенную статистику прерываний по устройствам;

    free -m – Команда выводит информацию об используемой и свободной ОЗУ, Swap-файле (-m указывает, что отображать нужно в Мегабайтах);

    Команды (утилиты) для мониторинга работы сети и трафика

    iftop – утилита для просмотра трафика в реальном режиме;

    tcpdump – утилита для полного и детального анализа сетевого трафика;

    bmon – консольная утилита для мониторинга по определенным параметрам сетевых интерфейсов;

    iptraf – мощная утилита для просмотра трафика на сетевых интерфейсах

    netstat – утилита для просмотра портов, активных соединений и сокетов, примеры:

    netstat -nlp 

    Примеры команды tcpdump

    tcpdump -npi eth0 port domain – Команда показывает в реальном времени на какой домен идут запросы чаще всего. Где eth0 – это имя вашего сетевого интерфейса;

    tcpdump -n -i eth0 -s 0 -w output.txt dst port 80 and host novall.net– Соснифферить трафик идущий на домен к примеру novall.net и записать результат в файл output.txt;

     

    Команды и утилиты для работы с процессами

    У каждого процесса есть свой PID (уникальный код, номер)

    ps axjf – Выводит на экран все загруженные процессы;

    ps axufS – Выводит на экран все процессы с отображением иерархии процессов и родительских процессов;

    pgrep -l httpd – Выводит на экран  PID определенного процесса – httpd;

    echo $$ – Выводит на экран PID вашей оболочки;

    fuser -va 21/tcp – Выводит на экран PID процесса использующий порт 21;

    fuser -va /var – Выводит на экран PID процесса имеющего доступ к /var;

    lsof /var – Выводит на экран список процессов, которые используют директорию /var;

    killall 0 exim – Команда Выводит на экран текущее состояние процесса exim;

    kill -9 5639 – Завершает процесс с PID 5639;

    killall TERM 5649 – Команда посылает процессу с PID-ом 5649 сигнал TERM — завершить процесс;

    killall HUP proftpd – Команда посылает процессу с именем proftpd сигнал HUP — остановить процесс;

    fuser -k -TERM -m /var/log – Команда завершает все процессы имеющие доступ к папке /var/log;

    pidof – Узнать PID запущенной программы по имени;

    strace -p 10475 -o log.txt – Команда делает трассировку системных вызовов и сигналов. Это средство может пригодится для отладки веб сервера или запуска скриптов;

    Ключ -o filename : отвечает за вывод трассировки в файл это полезно так как трассировочной информации может быть довольно много;

    Ключ -p PID : позволяет прикрепить stack trace к процессу по его ID. Пример strace -p 10475;

    pmap -d PID – Данная команда выводит информацию о распределении памяти между процессами. Эта команда позволит вам отыскать причину утечки памяти;

    Примеры команд для работы с процессами

    lsof -p – Команда с ключом “-p” позволяет посмотреть файлы к которым обращался процесс;

    lsof -i 4 -a -p 12234 – Команда с ключом “-i” позволяет  просмотреть все соединения по протоколу IPv4, открытые процессом с PID = 12234;

    lsof -i tcp:80 – Команда с ключем “-i” и указанием протокола с портом позволяет просмотреть информацию о процессе, который прослушивает 80 TCP порт;

    lsof /dev/hd4 – Данная команда выводит список открытых файлов на устройстве /dev/hd4;

    lsof /dev/cdrom – Данная команда выводит список процессов, работающих с CD ROM;

    lsof -c ssh – Данная команда выводит список подключений по ssh;

    Команды для работы с базой данных

    mysql -u db_login -p -h localhost database_name < dump_name.sql – Команда выполняет импорт дампа базы данных;

    mysqldump -u db_login -p -h localhost database_name > dump_name.sql – Команда выполняет экспорт базы данных то есть создание дампа;

    Дополнительные аргументы для команды mysqldump (уменьшают размер дампа и повышают скорость работы)

    Пример команды:

    mysqldump -Q -c -e -u db_login -p -h localhost database_name > /path/dump/name_dump.sql

    -Q — Ключ оборачивает имена обратными кавычками;

    -c — Ключ делает полную вставку, включая имена колонок;

    -e — Ключ делает расширенную вставку.

    Это весь список полезных и нужных команд, которые должен знать каждый пользователь ОС Linux. Если вы считаете, что я упустил какую-то команду или вам непонятна команда из списка приведённого выше - пишите в комментарии.

    Читать далее