Ubuntu 16.04にGolang 1.9をインストール

ググると、Ubuntu の公式パッケージにある Go は 1.6 と古いので非公式のリポジトリを登録しろ、という情報があるんだけど、apt search golang してみたら golang-1.9 というパッケージがあった。なので、これをインストールする。

takatoh@envelopes $ sudo apt install golang-1.9

ところが、go version コマンドを実行しても、インストールされてない、apt install golan-go をしろ、と言われる。素直にそうしてみると、今度は Go 1.6 がインストールされてしまった。
調べてみると、/usr/lib の下に golang-1.9 と golang-1.6 があって、/usr/bin/go から 1.6 の方へリンクがはられている。ということはこのリンクを 1.9 の方へはりなおしてやればいいはず。いったん 1.6 をアンインストールしてから、リンクをはりなおした。

takatoh@envelopes $ sudo ln -s /usr/lib/go-1.9/bin/go /usr/bin/go
takatoh@envelopes $ sudo ln -s /usr/lib/go-1.9/bin/gofmt /usr/bin/gofmt

これで無事完了。

takatoh@envelopes $ go version
go version go1.9.2 linux/amd64

vsftpdのインストールと設定→解決

昨日の vsftpd が動かない問題、解決した。
話は2段階で進む。まずはじめに、vsftpd 自体が起動しない問題、これは listen ディレクティブと listen_ipv6 ディレクティブが両方 YES になっていたためだった。listen_ipv6 のほうをコメントアウトして解決。

これで起動するようにはなったけど、アクセスしてみると「500 OOPS: vsftpd: refusing to run with writable root inside chroot()」というエラーが出てログインできない。これが2つめ。ググるとつぎのページが見つかった。

 cf. vsftpdの設定で謎のエラーにハマった – TomoProgの技術書

どうやら chroot した先に書き込み権限があるとエラーになるらしい。allow_writeable_chroot ディレクティブを追加して解決。

それにしても listenlisten_ipv6 はデフォルトで両方 YES になってた。デフォルトが動かない設定になってるってどういうことよ?

vsftpdのインストールと設定→動かない

メインマシン envelopes (Ubuntu 16.04) と Windowns マシン valarie とのデータのやり取りのため、envelopes に vsftpd をインストールした。

takatoh@envelopes $ sudo apt install vsftpd

設定は、基本的には以前さくらの VPS に設定した時と同じ。ただし、ASCII 転送を有効にした。あと、設定ファイルは /etc/vsftpd.conf にあった。

それから以下を追記。

空の chroot_list ファイルを作る。

takatoh@envelopes $ sudo touch vsftpd.chroot_list

user_list ファイルを作る。

takatoh@envelopes $ sudo vim vsftpd.user_list

takatoh だけを指定した。

ポート 21 を開ける。

takatoh@envelopes $ sudo ufw allow 21/tcp
ルールを追加しました
ルールを追加しました (v6)

vsftpd をリスタート。

takatoh@envelopes $ sudo systemctl restart vsftpd

あれ?何もメッセージが出ないけどいいのかな?

takatoh@envelopes $ ps ax | grep vsftpd
18124 pts/18   S+     0:00 grep --color=auto vsftpd

ああ、やっぱり動いてない。なんでだ……

middleman deplyが動いてくれない

www.panicblanket.com にホームページを作った。とはいっても2ページしか無いんだけど。
作成には Ruby 製静的サイトジェネレータの Middleman を使った。Middleman の使い方はググればいっぱい出てくるのでここでは省略。とりあえず日本語の公式サイトへのリンクだけ載せておこう。

 cf. Middleman

基本的にはこの公式サイトの説明のとおりにやっていけば、サイトを作れる。というか作れた。
問題はサーバへのデプロイだ。デプロイは、要するにサーバの然るべきディレクトリにファイルをコピーすればいいので、FTP でも何でもいいんだけど、ファイル数が多くなればそれだけ面倒になる。で、公式サイトでは middleman-deploy というプラグインを使うといい、みたいなことが書いてあったのでそうすることにした。
ところがこれが罠だったわけだ。使い方は簡単、Gemfile に middleman-deploy を追加して、bundle install --path vendor/bundle コマンドでインストール。config.rb にデプロイのための設定を書き足して(今回は FTP を使うことにした)、bundle exec middleman deploy を実行するだけ。
で、実行したところこんなエラーが出た。

takatoh@envelopes $ bundle exec middleman deploy
/home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/extensions.rb:96:in load': Tried to activate old-style extension: deploy. They are no longer supported. (RuntimeError)
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/extensions.rb:127:in block in load_settings'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/extensions.rb:125:in each'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/extensions.rb:125:in load_settings'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/extension_manager.rb:12:in initialize'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/application.rb:263:in new'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-core-4.2.1/lib/middleman-core/application.rb:263:in initialize'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-cli-4.2.1/bin/middleman:49:in new'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/gems/middleman-cli-4.2.1/bin/middleman:49:in '
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/bin/middleman:23:in load'
	from /home/takatoh/w/www.panicblanket.com/vendor/bundle/ruby/2.3.0/bin/middleman:23:in `
'

長いけど、最初のところに、「Tried to activate old-style extension: deploy. They are no longer supported. (RuntimeError)」って書いてある。deploy は古いスタイルの拡張で、すでにサポートされていない、らしい。GitHub の middleman-deploy のページを見てみると、インストールしたバージョン 1.0 がリリースされたのが 2014 年。これ以降新しいバージョンのリリースがない。そりゃ古いよなぁ。でも公式サイトに書いてあるんだぜ?どうしろってんだ。

結局、FTP でファイルをひとつずつアップした。スタイルシートを含めても3ファイルしか無いので、大したことはなかったけど、これからファイル数が増えたらなんか考えなきゃいけない。みんなどうしてるんだろう?

JSONを整形するツール

本当はゴルーチンについて書きたいんだけど、まだ頭の中で整理ができてないので今日は別のことを書く。

Web サービスやなんかの API で JSON を返してくれるのはよくあること。ただ、基本的にプログラムが処理するように想定されていて、人間が見やすい形にはなっていないことが多い。まあ、当たり前ではあるんだけど、それでも目で見て確かめたいときもある。そういう時は見やすく整形してくれるツールがほしくなる。
ググると jq っていうツールが見つかる。このツール自体は、JSON の整形だけでなく検索とかいろいろできるようで、おまけに Windows 用のバイナリもあるのでちょっと使ってみた。
ところが!もとの JSON が UTF-8 のせいかもしれないけど、Windows のコマンドプロンプトでは日本語が文字化けしてしまって読めない。おまけにどういうわけか、コマンドプロンプトのフォントが変更されてしまうという、謎の現象に見舞われた。
これでは使えないので、じゃあ、Go で整形するだけのツールを書いてみようか、と思って書いたら意外にも簡単だった、というのが今日の話。

サンプルの JSON はこんなの。Web で拾ったサンプルだけど、どこのページだか忘れてしまった。

全部が1行に詰め込まれてる上に、日本語が混じっている。

で、書いたツールがこれ。pj という名前にした(ファイル名は main.go だけど)。整形には encoding/json パッケージの Indent 関数を使っている。

試してみよう。

^o^ > go build

^o^ > pj sample.json
{
  "type": "FeatureCollection",
  "features": [
    {
      "type": "Feature",
      "properties": {
        "pref": "富山県",
        "city1": "下新川郡",
        "city2": "朝日町"
      },
      "geometry": {
        "type": "Polygon",
        "coordinates": [
          [
            [
              136.111111,
              36.111111
            ],
            [
              136.222222,
              36.222222
            ]
          ]
        ]
      }
    },
    {
      "type": "Feature",
      "properties": {
        "pref": "富山県",
        "city1": "氷見市",
        "city2": ""
      },
      "geometry": {
        "type": "Polygon",
        "coordinates": [
          [
            [
              136.333333,
              36.333333
            ],
            [
              136.444444,
              36.444444
            ]
          ]
        ]
      }
    },
    {
      "type": "Feature",
      "properties": {
        "pref": "富山県",
        "city1": "高岡市",
        "city2": ""
      },
      "geometry": {
        "type": "Polygon",
        "coordinates": [
          [
            [
              136.555555,
              36.555555
            ],
            [
              138.666666,
              36.666666
            ]
          ]
        ]
      }
    }
  ]
}

何のデータなんだかよくわからないけど、うまくいった。もとのエンコーディングは UTF-8 だけど、Windows のコマンドプロンプトに出力しても文字化けしない。もちろんファイルに書き出せばちゃんと UTF-8 で保存される。
うまくいったので GitHub にも公開しておいた。

 cf. https://github.com/takatoh/pj

インストールするにはこうすればいい:

^o^ > go get github.com/takatoh/pj

定型データの入力

定型のデータを読み込んで、型変換をしてくれる関数があると便利だ。
fmt パッケージの ScanFscan は空白文字で区切られたテキストデータを読み込み、可変長引数で渡されたデータ形式の変数(のポインタ)に変換して格納してくれる。Scan は標準入力から、Fscanio.Reader から読み込む。
まずは Scan の例。

^o^ > go run scan.go
1 1.5 1
2 2.3 2
3 3.8 3
6 7.6 [1 2 3]

go run scan.go コマンドに続く3行が入力で、1行ごとに整数、実数、文字列に変換される。ctrl + c で入力を終了すると、結果が表示される。最後の行が結果だ。

次は Fscan の例。io.Reader から(つまりファイルから)読み込む。

^o^ > cat fscan_sample.txt
10 1.234 foo
20 5.678 bar
30 9.876 baz

^o^ > go run fscan.go fscan_sample.txt
60 16.788 [foo bar baz]

ScanfFscanf は書式付き入力だ。引数で指定された書式で入力を解釈して読み込んでくれる。Scanf は標準入力から、Fscanfio.Reader (つまりファイル)から読み込む。
Scanf の例。

この例では整数、実数、クォートされた文字列をカンマ区切りしたものを入力として期待している。

^o^ > go run scanf.go
10,1.234,"foo"
20,5.678,"bar"
30,9.876,"baz"
60 16.788 [foo bar baz]

最後に Fscanf。これはファイルから読み込むことのほかは Scanf と同じだ。

^o^ > cat fscanf_sample.txt
10,1.234,"foo"
20,5.678,"bar"
30,9.876,"baz"

^o^ > go run fscanf.go fscanf_sample.txt
60 16.788 [foo bar baz]

cat

ファイル入出力の練習に cat コマンドを写経してみた。
まずひとつめ、bufioReadString 関数で1行ずつ処理。

^o^ > go build cat.go

^o^ > .\cat cat.go cat2.go
package main

import (
        "os"
        "fmt"
        "io"
        "bufio"
)

func cat(filename string) {
        file, err := os.Open(filename)
        if err != nil {
                fmt.Fprintln(os.Stderr, err)
                os.Exit(1)
        }
        rd := bufio.NewReader(file)
        for {
                s, err := rd.ReadString('\n')
                if err == io.EOF { break }
                fmt.Print(s)
        }
        file.Close()
}

func main() {
        for _, name := range os.Args[1:] {
                cat(name)
        }
}
package main

import (
        "os"
        "fmt"
        "io/ioutil"
)

func cat(filename string) {
        buff, err := ioutil.ReadFile(filename)
        if err != nil {
                fmt.Fprintln(os.Stderr, err)
                os.Exit(1)
        }
        os.Stdout.Write(buff)
}

func main() {
        for _, name := range os.Args[1:] {
                cat(name)
        }
}

もうひとつ、io/ioutil パッケージの ReadFile 関数でファイルまるごと読み込む。

実行結果はひとつめと同じなので省略。

ファイル入出力

今日はファイル入出力。
前に書いたように、ファイル入出力にはファイルディスクリプタを使う。ファイルディスクリプタは、os パッケージの Open 関数で取得する。取得したファイルディスクリプタで、ファイルからの入力には Read 関数、出力には Write 関数を使い、終わったら Close する。まあ、普通の手順だよな。
以下、サンプル。testin.txt ファイルから読み込んだ内容を testout.txt ファイルに書き込んでいる。

^o^ > cat testin.txt
Hello, Golang!

^o^ > go run fileio.go

^o^ > cat testout.txt
Hello, Golang!

bufio

入出力をバイト単位や行単位で行いたいときには bufio パッケージの関数が便利。リーダーやライターを作ってから、入出力関数を呼び出す。
バイト単位には、ReadByteWriteByte がいい。

10行目と11行目でリーダーとライターを作って、それを使っている。

^o^ > go build echo1.go

^o^ > echo1.exe < echo1.go
package main

import (
        "os"
        "io"
        "bufio"
)

func main() {
        r := bufio.NewReader(os.Stdin)
        w := bufio.NewWriter(os.Stdout)
        for {
                c, err := r.ReadByte()
                if err == io.EOF { break }
                w.WriteByte(c)
                if c == '\n' { w.Flush() }
        }
        w.Flush()
}

もうひとつ、行単位で処理するには、同じリーダー、ライターの ReadStringWriteString が使える。

^o^ > go build echo2.go

^o^ > echo2.exe < echo2.go
package main

import (
        "os"
        "io"
        "bufio"
)

func main() {
        r := bufio.NewReader(os.Stdin)
        w := bufio.NewWriter(os.Stdout)
        for {
                s, err := r.ReadString('\n')
                if err == io.EOF { break }
                w.WriteString(s)
                w.Flush()
        }
}

pyenvとvirtualenvを使ってみる

Python は 2.7.12 を常用しているけど、Python3 系に対応する必要があったので、これを機会にやってみることにした。まあ、今時 Python2 系だけってものなんだと思うので、ちょうどいいといえばそのとおりではある。
で、複数のバージョンを共存させるには pyenv を使うのがいいらしい。virtualenv については、以前エントリを書いたこともあるけど、pyenv と合わせて使うには pyenv のプラグインである pyenv-virtualenv を使うといいらしいので、そうすることにする。

環境

  • Ubuntu 16.04 LTS
  • システムの Python : 2.7.12

インストール

pyenv のインストール。インストールというか github からクローンする。システムにインストールする方法と、ユーザーディレクトリにインストールする方法があるようだけど、今回は後者にした。

takatoh@envelopes $ git clone https://github.com/yyuu/pyenv.git ~/.pyenv

pyenv-virtualenv のインストール

takatoh@envelopes $ git clone https://github.com/yyuu/pyenv-virtualenv.git ~/.pyenv/plugins/pyenv-virtualenv

.bachrcに設定を書き加える

以下を追記

書いたらいったん端末を起動し直す。

Pythonのインストール

特定のバージョンをインストールするには pyenv install コマンド。-l オプションをつけると、インストール可能なバージョンの一覧が見られる。すげーいっぱい出てくるけど、今回は 3.6.3 をインストールしてみた。

takatoh@envelopes $ pyenv install 3.6.3
Downloading Python-3.6.3.tar.xz...
-> https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz
Installing Python-3.6.3...
WARNING: The Python bz2 extension was not compiled. Missing the bzip2 lib?
WARNING: The Python readline extension was not compiled. Missing the GNU readline lib?
Installed Python-3.6.3 to /home/takatoh/.pyenv/versions/3.6.3

おっと、なんか WARNING がでたな。コンパイルするときにライブラリが足りないようだ。

takatoh@envelopes $ sudo apt install libbz2-dev libreadline6-dev

インストールした 3.6.3 をいったんアンインストールしてやり直し。

takatoh@envelopes $ pyenv uninstall 3.6.3
pyenv: remove /home/takatoh/.pyenv/versions/3.6.3? Y
takatoh@envelopes $ pyenv install 3.6.3
Downloading Python-3.6.3.tar.xz...
-> https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz
Installing Python-3.6.3...
Installed Python-3.6.3 to /home/takatoh/.pyenv/versions/3.6.3

今度はうまくいった。
インストールしたバージョンは pyenv versions コマンドで見られる。

takatoh@envelopes $ pyenv versions
* system (set by /home/takatoh/.pyenv/version)
  3.6.3

* がついてるのがアクティブなバージョンだ。

バージョンの切り替え

上に書いたように、現状ではシステムにインストールされている Python が使われている。これを切り替えるには、pyenv global または pyenv local コマンドを使う。global は全体に、local はカレントディレクトリに適用される。

takatoh@envelopes $ pyenv local 3.6.3
takatoh@envelopes $ pyenv versions
  system
* 3.6.3 (set by /home/takatoh/.python-version)
takatoh@envelopes $ python -V
Python 3.6.3

つぎの作業に入る前にいったんシステムのバージョンに戻しておく。

virtualenvで新しい環境を作る

pyenv virtualenv [version] <virtualenv-name> とすることで新しい環境を作れる。

takatoh@envelopes $ pyenv virtualenv 3.6.3 brs-3.6.3
Requirement already satisfied: setuptools in /home/takatoh/.pyenv/versions/3.6.3/envs/brs-3.6.3/lib/python3.6/site-packages
Requirement already satisfied: pip in /home/takatoh/.pyenv/versions/3.6.3/envs/brs-3.6.3/lib/python3.6/site-packages
takatoh@envelopes $ pyenv local brs-3.6.3
(brs-3.6.3) takatoh@envelopes $

プロンプトのカッコ内に環境名が表示されている。この環境は保存されていて、以後、このディレクトリに戻ってくるたびに自動的に適用される。

(brs-3.6.3) takatoh@envelopes $ cd ..
takatoh@envelopes $ pyenv versions
* system (set by /home/takatoh/.python-version)
  3.6.3
  3.6.3/envs/brs-3.6.3
  brs-3.6.3
takatoh@envelopes $ cd brs
(brs-3.6.3) takatoh@envelopes $ pyenv versions
  system
  3.6.3
  3.6.3/envs/brs-3.6.3
* brs-3.6.3 (set by /home/takatoh/w/brs/.python-version)
(brs-3.6.3) takatoh@envelopes $

パッケージのインストール

通常通り pip コマンドを使う。

(brs-3.6.3) takatoh@envelopes $ pip list --format=columns
Package    Version
---------- -------
pip        9.0.1  
setuptools 28.8.0 
(brs-3.6.3) takatoh@envelopes $ pip install click
Collecting click
  Using cached click-6.7-py2.py3-none-any.whl
Installing collected packages: click
Successfully installed click-6.7
(brs-3.6.3) takatoh@envelopes $ pip list --format=columns
Package    Version
---------- -------
click      6.7    
pip        9.0.1  
setuptools 28.8.0

とりあえずこんなもんかな。