ワードプレスでポートフォリオが表示されない

あまプロではワードプレスを使ってサイトを構築する場合が有ります。

先日、お客さんからサイトでポートフォリオが表示されなくなったので、表示する様に直して欲しいと依頼が有りました。
色々と調査して解った事をあメログ。

• ポートフォリオを表示するには固定ページのテンプレートをフロントページに設定する必要が有る
• ポートフォリオを表示するには固定ページのフロントページを一つだけ設定して、他のテンプレートはデフォルトページにする必要が有る
• テーマのカスタマイズでポートフォリオを表示する設定にする必要が有る

 この三つを守る必要が有る様です。

CSVの列順番を入れ替える

あまプロではCSVファイルを扱う事が有ります。

先日、列の順番を入れ替える案件が有りましたので、あメログ。

test.csv
a,b,c
a,b,c
というCSVを
a,c,b
a,c,b
に並べ替えたいとします。

方法は色々有るんですが、ワンライナーでさくっと変換したい場合は

paste -d, test.csv test.csv | cut -d, -f1,3,5

echo -e "a,b,c\na,b,c" | sed -e "s/^\(.*\),\(.*\),\(.*\)$/\1,\3,\2/g"

echo -e "a,b,c\na,b,c" | awk 'BEGIN{ FS=","; OFS=",";} { print $1, $3, $2}'

ですかね。
他にも色々方法は有るんですが、私はコマンドの短いpasteで処理しました。
実行速度を取るか、メモリ使用量を取るか、コマンドの短さを取るか、好みのコマンドを取るか、プロジェクト毎の決まりに従うか…等々で色々変わりますので、場合に選って使い分けてます。

SCPを高速化

あまプロではシェルスクリプトを作成する場合が有ります。

先日、scpで大量のファイルをコピーする案件が有りました。
scpとはsshのcpで、暗号化通信コピーのコマンドになります。
サーバ間やリモートローカル間でファイル遣り取りする際に使います。

大変便利なコマンドなんですが、暗号化通信の為に接続時に時間が掛かります。
httpsのサイトも最初の表示に時間が掛かるのと同じです。
内部で公開鍵の交換等を行っている為で、どうしても処理に時間が掛かります。
数十〜数百ファイルなら大した時間ではないですが、これが数千数万になると数時間掛かってしまいます。

ディレクトリ内にファイルが有る場合
scp コピー元 コピー先
scp hoge.jpg username@hostname:/path/to/dir
という風にローカルからリモートへファイルをアップロードします。

シェルスクリプトで大量のファイルをアップロードする場合
ls *.jpg | xargs -i scp {} username@hostname:/path/to/dir
こうなります。

しかし、これだと
scp hoge0.jpg username@hostname:/path/to/dir
scp hoge1.jpg username@hostname:/path/to/dir
scp hoge2.jpg username@hostname:/path/to/dir
scp hoge3.jpg username@hostname:/path/to/dir
　︙
としている事になり、1ファイルずつ接続切断を繰り返すので非効率です。
この場合、rオプションを追加して、ディレクトリごとアップロードすると高速になります。

scp -r hoge/ username@hostname:/path/to/dir

rオプションを追加する事で、内部ではこんな感じになり、
scp hoge0.jpg hoge1.jpg hoge2.jpg hoge3.jpg username@hostname:/path/to/dir
一回の接続切断にまとめてくれます。

ディレクトリ内の一部ファイルをアップロードしたい場合は
一部ファイルを一時ディレクトリにコピーして、一時ディレクトリごとrオプションで送りましょう。
一時ディレクトリの作成にはmktemp -d temp.XXXを用います。詳しくはmanをご覧下さい。

ファイル数やファイルサイズや帯域に選りますが、今回の案件では５〜６倍程高速化しました。

画像ファイルは既に圧縮済なので無理ですが、テキストファイル等でしたらCオプションを追加する事で圧縮転送も可能です。
転送量低下->高速化となります。

SSHでConnection timed out

あまプロではUbuntuサーバ上でシエルスクリプトを作成する事が有ります。

サーバ間の接続にSSHを使っているんですが、先日ある特定のサーバＡからサーバBへログインできなくなってしまいました。
Connection timed out
と表示されて、原因不明…。
他のサーバCやサーバDからはサーバBへいつも通りにログインできるんですが、サーバAからのみタイムアウトが発生します。
何故なんでしょう？

DellのLifecycleController上にUbuntuServerをインストール

あまプロではUbuntuサーバを構築する事が有ります。

今回はデルのPCにウブンツをインストールでハマりましたのであメログ。
DellのサーバにはLifecycleControllerというツールがインストールされています。
このライフサイクルコントローラを経由して各OSをインストールする事になります。

また、最近のPCはUEFIという仕組みが採用されており、従来のBIOSとはちと変わってます。
BIOS版のUbuntuをインストール出来るのですが、そうするとLifecycleControllerから起動出来なくなってしまうので、UEFI版をインストールします。
UbuntuのUEFI版はこちらに有ります。ここから製品名のUbuntuを検索してダウンロードします。

ハマりポイント１
LifecycleControllerを経由せずにUbuntuをインストールする事も出来ますが、そうするとLifecycleControllerからOSを認識出来ず、つまりOSが起動出来なくなりますのでご注意を。
LifecycleControllerを経由してUbuntuをインストールしましょう。

ハマりポイント２
LifecycleControllerのイントールでは何故かUSBメモリが使えません。
なので、CDやDVD等の光学メディアにインストーラを書き込みます。

この二つのハマりポイントに気を付ければ、通常通りのインストールになります。

Ubuntuのサーバを構築する場合はUbuntuServerのLTS版をインストールします。
LTSとは長期間（五年）保守される版で、サーバ等の長期間稼働さす場合に適してます。

Postgresqlから外部のデータベースを操作する

あまプロでは、データベースを扱う案件を良く請けます。
先日、PostgreSQLからMySQLを操作する案件に携わりましたので、あメログ。

PostgreSQLからMySQL等の外部のデータベースへ接続するにはForeignDataWrapperという拡張機能を用います。
DBリンクという似た機能も有るのですが、これは外部のPostgreSQLとしか接続出来ません。
FDWであればMySQLだけに限らず、色々なDBへ接続できる様です。詳しくはこちらをご覧下さい。

今回はPostgreSQLからMySQLのlist_db.listsというテーブルに接続してみます。
どちらも同じローカルにインストールしている前提です。
リモートのデータベースに接続する場合は、適宜接続設定を行って下さい。
環境は以下の通り

Ubuntu 17.10
PostgreSQL 9.6.6
MySQL 5.7.20

先ず、MySQL用のFDWをインストールします。
Ubuntu（Debian系）では

sudo apt install postgresql-9.6-mysql-fdw

でインストール可能です。
恐らく他のディストリビューションでもインストール出来る筈です。

以降の操作にはデータベースでの管理者権限が必要です。
使用するユーザに管理者権限が付いてない場合は

GRANT ALL PRIVILEGES ON DATABASE データベース名 TO ユーザ名;

で、権限を付与して下さい。


psqlでPostgreSQL（の権限の付けられたデータベース）へログインします。
拡張機能を作成します。

CREATE EXTENSION mysql_fdw;

サーバを作成します。

CREATE SERVER サーバ名 FOREIGN DATA WRAPPER mysql_fdw OPTIONS ( host 'localhost', port '3306');

サーバ名は（以降の設定でも使うので）解り易い名前にして、ホストやポートは環境に合わせて適宜変更して下さい。

マッピングを作成します。

CREATE USER MAPPING FOR public SERVER サーバ名 OPTIONS ( password '******', username 'ユーザ名');

パスワードとユーザ名はMySQL側のパスワードとユーザ名を指定します。

外部テーブルを作成します。

CREATE FOREIGN TABLE lists ( id int, name text)
 SERVER サーバ名 OPTIONS ( dbname 'list_db', table_name 'lists');

テーブルの列名やデータ型はMySQLのテーブル定義に合わせます。
MySQLの場合は

desc テーブル名;

でテーブル定義が表示されます。
違う列名やデータ型に出来るんかな？
そこは未確認です。ひょっとしたら必要な列だけ取得出来るかも。

以上で設定は終わりです。

SELECT * FROM lists;

UPDATE lists SET name = 'ほげほげ';

こんな感じで、PostgreSQLからMySQLへ対してSQL( のDML)を発行する事が出来ます。

外部のデータベース故に色々と制約は有るのですが、結構便利です。

大量のファイル処理

あまプロではシェルスクリプトを作成する場合が有ります。

先日大量のファイルを操作するシェルスクリプトを作成する事が有りましたのであメログ。

 大量の（五万以上）のファイルをワンライナーで変換し様とした際に遭遇したエラー
.hoge.sh: ls: Argument list too long
引数リストが多過ぎますとな！

スクリプト内では
ls -1 *.jpg | 変換コマンド
というコマンドでファイル一覧を取得してたのですが、これがあきませんでした。
ディレクトリ内に多数（五万以上）の画像ファイルが有るので、*.jpgでフィルタして一覧を取得したかったのですが、 どうやら
ls -1 *.jpg
の内部で大量の引数に対応して無いエラーが発生している様です。
xargsを使ってないんかな？

ちなみにフィルタせずに
ls -1
だと大丈夫…何でやねん

仕方ないので
ls -1 | grep .jpg | 変換コマンド
で回避しました。
因みに引数に使用できる最大文字数は
getconf ARG_MAX
で取得出来ます。