よく使うトラブルシューティングコマンド実行例まとめ

ファイル

ファイル名検索

$ find ./ -name hoge

任意のファイルから特定文字列を検索

$ grep -r hoge ./

ファイルサイズが大きい順に表示

$ du -sh * | sort -h -r

1秒おきにコマンド継続実行

$ while true; do sleep 1; echo hello; done

ディスク使用量確認

$ sudo ionice -c 2 -n 7 nice -n 19 du -scm /* | sort -rn

パーティション毎のディスク使用量確認

$ df -Th

メモリ使用量

$ free -m

Swapサイズ

$ swapon -s

/proc/

CPU情報、コア数など

$ less /proc/cpuinfo

メモリ使用内訳

$ less /proc/meminfo

OS内で動作するすべてのプロセスにおけるinotify watch数を把握

$ ls -l /proc/*/fd/ | grep inotify | wc -l

プロセス

プロセス数を確認

$ ps auxww

使ってるファイルのプロセスを調べる

$ lsof -p PID番号

/bin/shで動いてるプロセスを全て停止する

$ pkill -f /bin/sh
$ ps auxww | grep /bin/sh | awk '{print $2}' | xargs kill

バージョン

OSバージョン

$ cat /etc/redhat-release

kernelバージョンを調べる

$ uname -a

パッケージの確認

$ rpm -qa

プロセスが掴んでいるファイル一覧

$ sudo ls -l /proc/2676/fd

プロセス内のスレッドの数

$ ps aux -L

稼動しているプロセスを検索

$ pgrep -l syslog

プロセスの親子関係

$ pstree

ls系

PCI バスとそこにつながっているデバイス

$ lspci

CPUの情報

$ lscpu

ブロックデバイスのリスト

$ lsblk

ロードされているカーネルモジュール

$ lsmod

dmidecode

システムの情報、型番等

$ dmidecode -t system

BIOS の情報

$ dmidecode -t bios

CPU の情報

$ dmidecode -t processor

メモリの情報

$ dmidecode -t memory

パフォーマンス

References

監査

auditd

/etc/audit/rules.d/audit.rulesファイルの末尾に、以下の行を追加しOSを再起動

-a entry,always -F arch=b64 -S kill -k MyKillTrace

以後、/var/log/audit/audit.log にkillシステムコールを呼び出したプロセスの情報が記録される。以下のようにコマンドで対象のプロセスが発行したkillシステムコールをログに出力。

# strace -fttvo ログファイル名 -s 1000 -e kill -p プロセスID

ネットワーク

General

CPU使用率

$ vmstat 5
$ sar -p 5

特定のユーザーが使用しているCPU使用率

$ top -u oracle

CPU使用率 Top15

$ top -H -b -n1 | head -15

ディスクI/O使用率

$ vmstat -d

接続性

traceroute

$ sudo traceroute -T -p 443 192.168.0.1

Nping

$ sudo nping 192.168.0.1 --tcp -p 443 -c 30

$ mtr --report -c 100 --no-dns github.com

コマンド別

netstat

TCPの接続状態確認

$ netstat -lanpt

LISTEN/ESTABLISHEDの状態(Openな接続)確認

$ netstat -an

ネットワークに正常にパケットが送受信できているか

$ netstat -i

接続元のユニークなIP IPv4

$ netstat -nA inet | awk '/^[ut]/{split($5,a,:);print a[1]}'|sort |uniq -c |sort -n > ip-2.txt

IPv6

$ netstat -nA inet6 | awk '{print $5}' | sed s/::ffff:// | cut -d: -f1 | sort | uniq -c | sort -n > ip6-2.txt

ss

オープンな接続数の調査

$ ss -a | wc -l

TCPのみフィルタリング

$ ss -t | wc -l

TCPの状態でフィルタリング

$ ss state time-wait | wc -l

curl

ヘッダーだけ表示

$ curl -v -s www.google.com > /dev/null
$ curl -v -so /dev/null www.google.com

ヘッダー指定

$ curl -v -s -H Host: www.google.com clb.test.hayashier.com > /dev/null

時間測定

$ curl -s -o /dev/null -w %{time_total} http://www.google.com

詳細時間表示

$ curl -w %{remote_ip} time_namelookup: %{time_namelookup} tcp: %{time_connect} ssl:%{time_appconnect} start_transfer:%{time_starttransfer} total:%{time_total}\n -sk -o /dev/null http://www.google.com

POSTメソッド

$ curl --request POST 'http://www.google.com' --data hoge=fuga

動画ファイルのPOST

$ curl -v -F video=@Downloads/test.mp4 -X POST http://test.hayashier.com

Cookie 送信

$ curl -v --cookie HOGE=FUGA http://clb.test.hayashier.com

ラウンドロビンDNSの調査

$ curl -IsSv <FQDN> 2>&1 | grep Trying

レスポンスコード調査し続ける

$ IsError=false; while [ $IsError != true ]; do curl -I -k <URL> 2>&1 | tee error.out | grep HTTP/1.1  ; done;

スリープ付き

$ IsError=false; while [ $IsError != true ]; do sleep .5; (time curl -I -k <URL>) 2>&1; done;

連続でリクエスト送信時のステータスコードと処理時間

$ while true; do curl -s -o /dev/null -w HTTPCode=%{http_code} TotalTime=%{time_total}\n http://www.google.com; done

5秒おきにリクエスト送信時のヘッダー情報

$ while true; do curl -I -L http://www.google.com/; sleep 5; done

HTTP/2でテスト

$ curl --http2 -I https://twitter.com

スクリプトと合わせてテスト

$ curl -v -H 'TEST: '$(perl -e 'print 0x16376') http://test.hayashier.com

表示項目カスタマイズ以下の内容を curl-format.txt として保存。

\n
Timing:\n
DNS Resolution Time:  %{time_namelookup}\n
TCP Handshake:    %{time_connect}\n
SSL Handshake:    %{time_appconnect}\n
time_pretransfer: %{time_pretransfer}\n
time_redirect:    %{time_redirect}\n
time_starttransfer: %{time_starttransfer}\n
---------------------------------------------\n
Total Time spent: %{time_total}\n
\n
HTTP Details:\n
HTTP Status Code: %{http_code}\n
Request Size:   %{size_request}\n
\n

$ curl -w '@curl-format.txt' -L https://google.com -so /dev/null


Timing:
DNS Resolution Time:  0.030453
TCP Handshake:    0.044017
SSL Handshake:    0.087345
time_pretransfer: 0.087440
time_redirect:    1.848814
time_starttransfer: 0.331126
---------------------------------------------
Total Time spent: 3.383122

HTTP Details:
HTTP Status Code: 200
Request Size:   152

ネームサーバ接続テスト

$ while true; do curl --connect-timeout 5 -o /dev/null -Ssk -H Host: api.github.com https://192.30.255.116/ && echo ok; sleep 1; done

dig

ELBノード毎のレスポンスのHTTPステータス

$ dig +short +noall +answer alb.test.hayashier.com | xargs -L 1 curl -vG 2>&1 >/dev/null | awk '/^(< HTTP|> Host)/ { print $3 }'

ネームサーバ IP 列挙

$ for j in `dig +short  ns github.com.`; do dig @$j +short api.github.com.; done

OpenSSL

接続テスト

$ openssl s_client -connect clb.test.hayashier.com:443

GET / HTTP/1.1

証明書詳細

$ openssl s_client -showcerts -connect <host>:<port> < /dev/null

暗号スイート指定

$ openssl s_client -cipher 'ECDHE-ECDSA-AES256-SHA' -connect clb.test.hayashier.com:443

Netcat

クライアント/サーバ間通信

$ nc -v -l -k 1234
Connection from 127.0.0.1 port 1234 [tcp/search-agent] accepted
Hi
World

Connection from 127.0.0.1 port 1234 [tcp/search-agent] accepted
GET / HTTP/1.1
Host: localhost:1234
User-Agent: curl/7.51.0
Accept: */*

Connection from 127.0.0.1 port 1234 [tcp/search-agent] accepted
POST / HTTP/1.1
Host: localhost:1234
User-Agent: curl/7.51.0
Accept: */*
Content-Length: 9
Content-Type: application/x-www-form-urlencoded

hoge=fuga

$ nc localhost 1234 -v
Connection to localhost 1234 port [tcp/search-agent] succeeded!
Hi
World

接続状態監視

$ while true ; do echo -n $(date): ; nc -vz api.github.com 443; sleep 2; done

時刻変換

$ date --date='@1527718243'
Thu May 31 07:10:43 JST 2018

Others

低レイヤー

strace

ps auxで対象プロセスのPIDよりプロセスIDを確認して、-pオプションで指定して動きをトレース
- 例えば、Nginxのworkerのネットワーク関連にシステムコールの動きをトレースする場合は以下のように実行
  $ sudo strace -p 5 -e trace=network
- 問題発生時に書くシステムコールで要した時間を確認したい場合は、以下のように実行
  - -e trace=xxxxで指定した
  - -ttでusecでタイムスタンプを絶対時間で表示
  - -Tで各システムコールで要した時間
  - -o FILE_NAMEで結果を指定したファイルに出力
    $ sudo strace -T -tt -e trace=all -p 460 -o output.txt

gdb

実行プロセスのコードを追う

$ gdb -p `ps aux | grep redis-server | grep -v grep | awk '{print $2}'`

Tips
- ブレークポイントを打つ点は、btコマンドでデバッグトレースを確認し、毎回通過する関数などを観察すると良い（Redisの場合は、processCommand）。

※Redisサーバーをデバッグするためには、手動でビルドする必要があります。その際、make CFLAGS="-g "のように実行しておく必要があります。適宜MakefileのOPTIMIZATION?の値で-O2から-O0に変更しておくとよいでしょう。

References

負荷テスト

$ h2load -n 10000 -c 10 -m 10 -v -p h2c https://test.hayashier.com
$ ab -n 10000 -c 10 -k https://test.hayashier.com

sysbench インストール

$ curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
$ sudo yum -y install sysbench

実行方法

$ sysbench --test=cpu run

パケットキャプチャ　

取得

$ sudo tcpdump -w sample.pcap

フィルター例

sample.pcapというpcapファイルを読み込み(-rオプション)、DNSに変換せずに(-nオプション)、srcかdstのホストIPがxxx.xxx.xxx.xxxかつTCPポート80番

$ tcpdump -r sample.pcap host xxx.xxx.xxx.xxx and tcp port 80 -n

sample.pcapというpcapファイルを読み込み(-rオプション)、DNSに変換せずに(-nオプション)、srcのホストIPがxxx.xxx.xxx.xxxかつdstのホストIPがyyy.yyy.yyy.yyyかつTCPポート80番

$ tcpdump -r sample.pcap ip dst xxx.xxx.xxx.xxx and ip src yyy.yyy.yyy.yyy and tcp port 80 -n

Wireshark

フィルター例

http.request and http contains Root=1-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx   # ALBにおけるアクセスログとキャプチャの関連付け
http.response.code == 502
tcp.flags.reset == 1

ip.addr == 10.0.0.1 && tcp.flags.fin
ip.src == 10.0.0.1 or ip.src == 10.0.0.2
ip.dst == 10.0.0.1
eth.src [0:3] == 00:00:83
tcp.port in {443, 80, 8080}

Command Gでパケット番号による検索。

フィルター詳細 https://www.wireshark.org/docs/dfref/

カーネルソースコード入手

# yumdownloader --source kernel
Loaded plugins: auto-update-debuginfo, priorities, update-motd, upgrade-helper
Enabling ius-source repository
Enabling amzn-updates-source repository
Enabling amzn-main-source repository
31 packages excluded due to repository priority protections
kernel-4.9.93-41.60.amzn1.src.rpm                                                                                                                                                     | 136 MB  00:00:03     
# rpm2cpio kernel-4.9.93-41.60.amzn1.src.rpm | cpio -id
1363606 blocks
# tar -xf linux-4.9.93.tar
# ls linux-4.9.93/
arch   certs    CREDITS  Documentation  firmware  include  ipc     Kconfig  lib          Makefile  net     REPORTING-BUGS  scripts   sound  usr
block  COPYING  crypto   drivers        fs        init     Kbuild  kernel   MAINTAINERS  mm        README  samples         security  tools  virt

Yumレポジトリ中のrpmの中のJavaを確認

# Get rpm from Yum repository
$ wget <HTTPS URL for rpm in Yum repos>

# Decompress rpm file
$ rpm2cpio aws-hm-client-4.2.0-1.amzn2023.noarch.rpm | cpio -id

# Decompress jar file
$ cd usr/share/aws/hmclient/lib
$ jar xf aws-glue-datacatalog-client-common-4.2.0.jar

# Open .class file with IntelliJ

screen

Ctrl+a c : ウィンドウ新規作成
Ctrl+a w : ウィンドウ一覧
Ctrl+a num : ウィンドウ切り替え
Ctrl+a a : ウィンドウ間の行き回
Ctrl+a [ : スクロールモード

Ctrl+a d : セッションをデタッチ
exit: セッションを終了

Ctrl+a S : 画面垂直分割(リージョン分割)
Ctrl+a tab : リージョン切り替え
Ctrl+a x : リージョン削除

作業再開時 : screen -r [Session ID]
指定した名前でセッション新規作成 : screen -S [Session ID]

セッション一覧 : screen -ls
セッション終了 :  screen -XS <Session ID> kill

Copy & Paste : Ctrl + [ ,  Ctrl + ]

.screenrcには以下の設定を追加。

defscrollback 10000         # スクロールバッファを10000行に設定

# ステータスライン設定
hardstatus alwayslastline
hardstatus string '%{= kG}[ %{G}%H %{g}][%= %{= kw}%?%-Lw%?%{r}(%{W}%n*%f%t%?(%u)%?%{r})%{w}%?%+Lw%?%?%= %{g}][%{B} %m-%d %{W}%c %{g}]'

# マウス操作を有効化
mousetrack on
termcapinfo xterm* ti@:te@

ディスク容量いっぱい

不要ファイルの洗い出し

キャッシュ周りやデプロイ毎に作成されるファイルで、古いものが残っている等の類のものを優先的に見ていく。

$ du -sh * | sort -h -r
$ du --max-depth 5 -h * | sort -h -r

yumのキャッシュを確認

消すものがさくっとでてこないときにとりあえず

du -sh /var/cache/yum

前者で十分な事が多いが、容量がいっぱいだと、前者のコマンドも容量不足で実行できないことがある。その場合後者を実行すれば良い。

yum clean all
rm -Rf /var/cache/yum

Links

BPF

References

その他

Unix時間を変換

$ date -ud '@1589500800'
2020年  5月 15日 金曜日 00:00:00 UTC

MacOSでは以下

$ date -ur 1589500800
2020年 5月15日 金曜日 00時00分00秒 UTC

10進数へ変換

2進数

$ echo $((2#101))

16進数

$ echo $((16#afaf))

ALBで502生成

$ sudo iptables -A INPUT -s 192.168.0.10 -p tcp --dport 80 -j REJECT --reject-with tcp-reset

macOS

ターミナル

VSCode

マークダウン表示

Command + k -> v
- 画面分割して表示
Command + Shift -> v
- 別タブで表示

参考資料

https://qiita.com/sion_cojp/items/04a2aa76a1021fe77079
https://qiita.com/taiyop/items/bfeeb41259cb0d083d88#_reference-dfefbef0995e80f8203e
https://qiita.com/ngyuki/items/0edecb8b92fcf189ac2b
http://saosao-0706.hatenablog.com/entry/2016/04/21/101656
https://qiita.com/rsooo/items/42f0902d42bab6ecf175
https://qiita.com/tksnino/items/300e39279ca57d9515f2#_reference-f0f5976f3c0d65c5026c
https://qiita.com/hiro-d/items/c3f724cb3d377e21cd91
https://linuxize.com/post/how-to-use-linux-screen/
https://qiita.com/hnishi/items/3190f2901f88e2594a5f
https://unix.stackexchange.com/questions/26685/how-to-split-window-vertically-in-gnu-screen
https://support.apple.com/ja-jp/guide/terminal/trmlshtcts/mac

Linux コマンド例まとめ

apt-cache
apt-chrom
apt-get
arp
chkconfig
createuser
crontab
df
dig
dmesg
dmidecode
dpkg
expect
fdisk
fio
firewall-cmd
firewalld
free
fsck
gcc
gdb
grep
hdparm
host
ifconfig
insmod
iostat
iotop
ip
iptables
journalctl
kill
limit
lshw
lsmod
lspci
lsusb
lspci
lsusb
ltrace
lvcreate
lvextend
lvreduce
mkfs
mkswap
modprobe
mount
mtr
netstat
nmtui
nslookup
ntpq
ntpdate
parted
pidof
ping
postfix
postqueue
postsuper
pstree
resize2fs
rmmod
route
rsync
sar
screen
script
service
smartctl
snmpwalk
ss
strace
swapon
sysctl
systemctl
tail
tcpdump
top
traceroute
ulimit
uptime
vgcreate
vgrename
vgextend
w
watch
yum

参照

コマンドで覚えるLinux 単行本 – 2016/10/12 一戸英男 (著)
- https://www.amazon.co.jp/dp/4802610327

Previousサービス障害が発生した場合の対応方法 Nextコピペで使えるELBのアクセスログ解析による事象分析 (ShellScript, Athena)

Last updated 7 days ago

ファイル

/proc/

プロセス

バージョン

ls系

dmidecode

パフォーマンス

監査

auditd

ネットワーク

General

接続性

コマンド別

netstat

ss

curl

dig

OpenSSL

Netcat

Others

低レイヤー

strace

gdb

負荷テスト

パケットキャプチャ

Wireshark

カーネルソースコード入手

Yumレポジトリ中のrpmの中のJavaを確認

screen

ディスク容量いっぱい

不要ファイルの洗い出し

yumのキャッシュを確認

BPF

その他

Unix時間を変換

10進数へ変換

2進数

16進数

ALBで502生成

macOS

ターミナル

VSCode

マークダウン表示

参考資料

Linux コマンド例 まとめ

参照

パケットキャプチャ　

Linux コマンド例まとめ