takatoh's blog – Learning programming languages.
ローカルネットワークで運用してる Rails アプリを Rails6 系の最新版 6.1.7.3 までアップグレードした。Ruby のバージョンは 3.1.4。Docker コンテナ上で動かしている。
以下、メモ。後で時間があればもう少し詳しく書く。
Rails 5.2 以降の credentials.yml.enc について。
Active Storage について。
Rails の設定について。
自宅サーバで運用してる Python で作った webアプリがあって、Pillow で画像のサムネイルを作るようになってるんだけど、ときどきサムネイルの作成に失敗していることがあるのに気がついた。
この webアプリを作ったときにどう考えたのか忘れたけど、もとの画像が png ならサムネイルも png、もとの画像が jpg ならサムネイルも jpg になる。失敗してるのは png のサムネイルを作るとき（の一部）のようだ。サムネイルをつくるのには Pillow の Image.thumbnail() 関数を使ってる。
で、検証のためのスクリプトを書いた。Python と Pillow のバージョンは次の通り。
from PIL import Image
from os import path
import argparse
THUMBNAIL_SIZE = (240, 240)
def main():
args = parse_arguments()
orig_file = args.orig
im = Image.open(orig_file)
im.thumbnail(THUMBNAIL_SIZE)
(name, _) = path.splitext(orig_file)
thumb_file = f'thumb_{name}.{args.format}'
im.save(thumb_file)
print(f'Thumbnail has maked successfully: {thumb_file}')
def parse_arguments():
parser = argparse.ArgumentParser(
description='Make thumbnail from original image.'
)
parser.add_argument(
'orig',
action='store',
help='original image'
)
parser.add_argument(
'-f', '--format',
action='store',
default='jpg',
help='specify thumbnail file format (`jpg` to default)'
)
args = parser.parse_args()
return args
main()
使い方は簡単。もと画像ファイルを引数して実行すればサムネイルが作られる。--format オプションでサムネイルのフォーマットを指定できる（デフォルトは jpg）。
[email protected]: Documents > python make_thumbnail.py --help usage: make_thumbnail.py [-h] [-f FORMAT] orig Make thumbnail from original image. positional arguments: orig original image options: -h, --help show this help message and exit -f FORMAT, --format FORMAT specify thumbnail file format (`jpg` to default)
さて、このスクリプトで、用意した png 画像のサムネイルを作ってみる。フォーマットに jpg を指定したときは期待通りにサムネイルが作成される。
[email protected]: Documents > python make_thumbnail.py --format jpg sample1.png Thumbnail has maked successfully: thumb_sample1.jpg
ところが、フォーマットに png を指定するとエラーになる。
[email protected]: Documents > python make_thumbnail.py --format png sample1.png Traceback (most recent call last): File "C:\Users\takatoh\Documents\make_thumbnail.py", line 42, in <module> main() File "C:\Users\takatoh\Documents\make_thumbnail.py", line 17, in main im.save(thumb_file) File "C:\Users\takatoh\AppData\Local\Programs\Python\Python310\lib\site-packages\PIL\Image.py", line 2432, in save save_handler(self, fp, filename) File "C:\Users\takatoh\AppData\Local\Programs\Python\Python310\lib\site-packages\PIL\PngImagePlugin.py", line 1318, in _save data = name + b"\0\0" + zlib.compress(icc) TypeError: a bytes-like object is required, not 'str'
png のときはいつもエラーになるってわけでもない。下の例のように、ちゃんとサムネイルが作成されることもある。
[email protected]: Documents > python make_thumbnail.py --format png sample2.png Thumbnail has maked successfully: thumb_sample2.png
どうも、もとの png 画像によってエラーになることがあるらしい。多分まれなケース。ヒントはエラーメッセージに出ている。TypeError だ。bytes-like object でなければならないところで str が来ている。Pillow の PIL/PngImagePlugin.py ファイルの1318行目でエラーになってる。ソースファイルからこの付近を抜き出してみよう。
icc = im.encoderinfo.get("icc_profile", im.info.get("icc_profile"))
if icc:
# ICC profile
# according to PNG spec, the iCCP chunk contains:
# Profile name 1-79 bytes (character string)
# Null separator 1 byte (null character)
# Compression method 1 byte (0)
# Compressed profile n bytes (zlib with deflate compression)
name = b"ICC Profile"
data = name + b"\0\0" + zlib.compress(icc)
chunk(fp, b"iCCP", data)
これは _save() 関数の一部で、下から2行目がファイルの1318行目にあたる。バイト文字列を連結して data 変数に代入してる。name 変数は上の行でバイト文字列のリテラルを代入してるし、b"\0\0" もバイト文字列のリテラルだ。てことは zlib.compress(icc) が怪しい。ちょっと話を端折るけど、icc 変数には im.info.get("icc_profile") で取得した値が入ってる。im は Pillow の Image オブジェクト。
そこで、手を動かしてこれを追いかけてみる。
[email protected]: Documents > python Python 3.10.8 (tags/v3.10.8:aaaf517, Oct 11 2022, 16:50:30) [MSC v.1933 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from PIL import Image >>> import zlib >>> im = Image.open('sample1.png') >>> icc = im.info.get("icc_profile") >>> name = b"ICC Profile" >>> data = name + b"\0\0" + zlib.compress(icc) Traceback (most recent call last): File "", line 1, in TypeError: a bytes-like object is required, not 'str'
サムネイルを作るときと同じエラーが出た。もう少し粒度を細かくしてみよう。zlib.compress(icc) のとこだけ。
>>> icc_compressed = zlib.compress(icc) Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: a bytes-like object is required, not 'str'
ああ、つまり icc が bytes-like object じゃなくて str なわけだ。
>>> type(icc) <class 'str'>
やっぱり。
エラーにならなかった sample2.png ファイルでも試してみよう。
>>> im2 = Image.open('sample2.png')
>>> icc2 = im2.info.get("icc_profile")
>>> type(icc2)
<class 'bytes'>
なるほど、ファイルによって im.info.get("icc_profile") で得られる値が bytes だったり str だったりするらしい。で、str だと zlib.compress() でエラーになる、と。
これは Pillow のバグなのか？それとも不適切な png ファイルのせいなのか？
これ以上追いかけるのはちょっと手に余るな。
以前、Python で UUID をもとにしてランダムな文字列を作るってのをやった。
同じことを Ruby でやろうとしたら存外に手間を食ったのでメモしておく。
UUID は 標準ライブラリの SecureRandom モジュールで生成できる。
irb(main):001:0> require "securerandom"
=> true
irb(main):002:0> u = SecureRandom.uuid
=> "4ad31376-3c83-49d7-a70a-14467f2b4022"
が、Python では UUID クラスのインスタンスが返ってきてバイト列を得るのも簡単だったけど、Ruby では文字列が返ってくる。なので、16進数表示の文字列からバイト列に変換してやらないといけない。とりあえず邪魔なハイフンを取り除いておく。
irb(main):003:0> h = u.tr("-", "")
=> "4ad313763c8349d7a70a14467f2b4022"
で、バイト列に変換するメソッドを書く。
はじめは２文字ずつに切り分けて String#to_i で整数に変換してやればいいかと思ったけど、これだと得られるのは Fixnum クラスのインスタンス（の配列）であってバイト列じゃない。
結局次のようになった。２文字ずつ切り分けるのは同じだけど、切り出した２文字は別々に整数に変換して、１文字目のほうは 4bit 左シフトしてから2文字目のほうと論理OR をとる。そうすると整数16個の配列ができる。これをバイト列に変換するには Array#pack を使う。
irb(main):004:1* def hex2bstring(hex)
irb(main):005:1* barray = []
irb(main):006:2* hex.split("").each_slice(2) do |pair|
irb(main):007:2* barray.push((pair[0].to_i(16) << 4) | (pair[1].to_i(16)))
irb(main):008:1* end
irb(main):009:1* barray.pack("C")
irb(main):010:0> end
=> :hex2bstring
このメソッドを使ってバイト列に変換。
irb(main):011:0> b = hex2bstring(h) => "J\xD3\x13v<\x83I\xD7\xA7\n\x14F\x7F+@\""
さらに Base32 エンコードするんだけど、Ruby の標準ライブラリには Base32 がないので、あらかじめ gem install base32 しておく必要がある。エンコードしたらパディングの = を取り除く。
irb(main):012:0> require "base32"
=> true
irb(main):013:0> s = Base32.encode(b)
=> "JLJRG5R4QNE5PJYKCRDH6K2AEI======"
irb(main):014:0> s2 = s.tr("=", "")
=> "JLJRG5R4QNE5PJYKCRDH6K2AEI"
最後は見た目のランダムさを増すために小文字を混ぜるようにする。if の条件式には Array#sample を使って [true, false].sample としてもよかったんだけど、せっかく UUID を生成するのに SecureRandom を使ってるのでここでも使ってみた。でもわかりにくいかも。
irb(main):015:1 def down(c) irb(main):016:2* if SecureRandom.random_number(2) > 0 irb(main):017:2* c.downcase irb(main):018:2* else irb(main):019:2* c irb(main):020:1* end irb(main):021:0> end => :down
最終的にはこうなった。
irb(main):022:0> s2.split("").map{|c| down(c) }.join
=> "JljRg5r4qnE5pjyKCRdH6k2aei"
Python より面倒だな。
Ruby なら rbenv、Python なら pyenv で決まり、みたいなバージョン管理ツールだけど、Node.js ではやたらと乱立していてどれを使うのがいいのかよくわからない。この問題自体はいろんなところで書かれていて、今回ググった中では↓このページがよくまとまっていた。
このページに挙げられているツールは以下の通り：
nvm、n、nodenv は前に試したことがある。ほかは聞いたことだけあったり、初めて知ったりだ。
いずれにせよ、JavaScript （Node.js）は Ruby や Python ほど使わないこともあって今までテキトーにしてたんだけど、静的サイトジェネレータの 11ty を試したこと（しかも Windows で）がきっかけで、少しまじめに考えてみようという気になった。なので Linux でも Windows でも使えるのが最低条件だ。
で、どれがいいかというと、上のページでは volta を薦めている。ほかには「Windows なら fnm がいい」というページがいくつか見つかった。そういうわけでこの2つを試してみることにする。どちらも Rust で書かれている。
公式サイトから Windows 用のインストーラをダウンロードする。
最新バージョンは1.0.8だ。ダウンロードしたら普通のアプリ同様にインストールすればいい。
[email protected]: Documents > volta --version 1.0.8
ヘルプを見るとこんな感じ。
[email protected]: Documents > volta --help Volta 1.0.8 The JavaScript Launcher ⚡ To install a tool in your toolchain, use `volta install`. To pin your project's runtime or package manager, use `volta pin`. USAGE: volta.exe [FLAGS] [SUBCOMMAND] FLAGS: --verbose Enables verbose diagnostics --quiet Prevents unnecessary output -v, --version Prints the current version of Volta -h, --help Prints help information SUBCOMMANDS: fetch Fetches a tool to the local machine install Installs a tool in your toolchain uninstall Uninstalls a tool from your toolchain pin Pins your project's runtime or package manager list Displays the current toolchain completions Generates Volta completions which Locates the actual binary that will be called by Volta setup Enables Volta for the current user / shell run Run a command with custom Node, npm, and/or Yarn versions help Prints this message or the help of the given subcommand(s)
Node.js をインストールするには volta install。
[email protected]: Documents > volta install [email protected] success: installed and set [email protected] (with [email protected]) as default
[email protected] という書き方をしてるのは、Volta が Node.js だけでなく npm や yarn のバージョン管理にも対応してるから。ともかく Node 14 系の最新版がインストールされた。
[email protected]: Documents > node -v v14.20.0
Node 16 系もインストールしてみる。
[email protected]: Documents > volta install [email protected] success: installed and set [email protected] (with n[email protected]) as default [email protected]: Documents > node -v v16.17.0
volta list all でインストールされている Node.js のリストが表示される。
[email protected]: Documents > volta list node ⚡️ Node runtimes in your toolchain: v14.20.0 v16.17.0 (default)
プロジェクトごとにバージョンを分けることもできる。Volta では package.json に利用するバージョンが記載される。サンプルを作って試してみよう。
[email protected]: Documents > cd node-sample [email protected]: node-sample > npm init
この状態で package.json はこんなふうになっている。
{
"name": "sample",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "",
"license": "ISC"
}
このプロジェクトに特定の Node.js のバージョンを指定するには volta pin コマンド。
[email protected]: node-sample > volta pin [email protected] success: pinned [email protected] (with [email protected]) in package.json
バージョンの指定は package.json に書き込まれ、次のようになる。
{
"name": "sample",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "",
"license": "ISC",
"volta": {
"node": "14.20.0"
}
}
node -v で確認。
[email protected]: node-sample > node -v v14.20.0
プロジェクトのディレクトリを抜けると、デフォルトのバージョンに戻る。
[email protected]: node-sample > cd .. [email protected]: Documents > node -v v16.17.0
fnm は Fast Node Manager の略だそうだ。公式サイトは見当たらないんだけど、GitHub で公開されている。
Windows にインストールするには Chocolatey を使う。PowerShell を「管理者として実行」して、次のコマンドでインストール。
[email protected]: Documents > choco install fnm
PowerShell で使うため、設定ファイルに次の行を書き足す。
fnm env --use-on-cd | Out-String | Invoke-Expression
PowerShell の設定ファイルは $profile と打ち込めばパスを表示してくれる。
[email protected]: Documents > $profile C:\Users\takatoh\Documents\PowerShell\Microsoft.PowerShell_profile.ps1
これで準備は完了。
Node.js をインストールするには fnm install コマンドを使う。16系をインストールしてみよう。
takatoh@sofa: Documents > fnm install 16 Installing Node v16.17.0 (x64)
でも、これだけだとまだ使えない。
[email protected]: Documents > node -v node: The term 'node' is not recognized as a name of a cmdlet, function, script file, or executable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
PowerShell を起動しなおしたら使えるようになった。
[email protected]: Documents > node -v v16.17.0
14系もインストールしてみよう。
takatoh@sofa: Documents > fnm install 14 Installing Node v14.20.0 (x64)
fnm list コマンドでインストール済みのバージョンを確認できる。v14.20.0 とv16.17.0 がインストールされてるけど、この時点では v16.17.0 がデフォルトになってる。
[email protected]: Documents > fnm list * v14.20.0 * v16.17.0 default * system [email protected]: Documents > node -v v16.17.0
切り替えるには fnm use コマンド。
[email protected]: Documents > fnm use 14 Using Node v14.20.0 [email protected]: Documents > node -v v14.20.0
ところで system ってのは何だろう？
[email protected]: Documents > fnm use system Bypassing fnm: using system node [email protected]: Documents > node -v node: The term 'node' is not recognized as a name of a cmdlet, function, script file, or executable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
たぶん、fnm の管理下にない、もとからインストールされてるバージョンのことだな。今回の場合はそんなものはないのでエラーが出てる、と。fnm use コマンドでインストール済みのバージョンを指定してやれば直る。
[email protected]: Documents > fnm use 16 Using Node v16.17.0 [email protected]: Documents > node -v v16.17.0
プロジェクトごとにバージョンを使い分けるには次のようにする。
[email protected]: Documents > mkdir node-sample2 [email protected]: Documents > cd node-sample2 [email protected]: node-sample2 > npm init [email protected]: node-sample2 > fnm use 14 [email protected]: node-sample2 > node -v > .node-version
fnm では Volta と違って .node-version ファイルに保存される。中身は次のようになってる。
[email protected]: node-sample2 > cat .node-version v14.20.0
.node-version ファイルがあるディレクトリに移動すると、自動的にバージョンを切り替えてくれる。いったん上のディレクトリに移動し、v16.17.0 に変更した後、もう一度プロジェクトのディレクトリに戻ると、v14.20.0 に切り替わる。
[email protected]: node-sample2 > node -v v14.20.0 [email protected]: node-sample2 > cd .. [email protected]: Documents > fnm use 16.17.0 Using Node v16.17.0 [email protected]: Documents > node -v v16.17.0 [email protected]: Documents > cd node-sample2 Using Node v14.20.0 [email protected]: node-sample2 > node -v v14.20.0
が、上のディレクトリに戻っても v16.17.0 には切り替わってくれない。どうも .node-version ファイルがないディレクトリに移動したときには切り替えが発生しないみたいだ。どうしようかと思ったら fnm default コマンドがあった。
[email protected]: Documents > fnm default v16.17.0 [email protected]: Documents > node -v v14.20.0 [email protected]: Documents > fnm use 16 Using Node v16.17.0 [email protected]: Documents > node -v v16.17.0 [email protected]: Documents > cd node-sample2 Using Node v14.20.0 [email protected]: node-sample2 > node -v v14.20.0 [email protected]: node-sample2 > cd .. [email protected]: Documents > node -v v14.20.0
なのに期待通り動作しないじゃない。よくよくみると上のほうで fnm list コマンドを実行したときの出力に v16.17.0 が default ってなってる。
何か忘れてる？それともバグ？
別々に作った２つの Git リポジトリを統合する方法。違う方法もあると思うけど、調べた結果この方法でできた、ってことで記録しておく。
前提として：
repo_a と repo_b を、新しく作った repo_combined に統合するまずは新しいプロジェクトを作る。
[email protected]:w$ poetry new repo_combined
ディレクトリに移動して、Git の初期化と最初のコミット。このコミットには Poetry がデフォルトで作ってくれるファイルしかない。
[email protected]:w$ cd repo_combined [email protected]:repo_combined$ git init Initialized empty Git repository in /home/takatoh/w/repo_combined/.git/ [email protected]:repo_combined$ git add . [email protected]:repo_combined$ git commit -m "First commit." [email protected]:repo_combined$ git branch -M main
リポジトリ repo_a をリモートブランチに取り込む。
[email protected]:repo_combined$ git remote add -f repo_a https://github.com/takatoh/repo_a.git
これで、repo_combined の中には main ブランチと、全く繋がりのない repo_a/main が存在する状態になる。で、その repo_a/main を main にマージする。
[email protected]:repo_combined$ git merge repo_a/main fatal: refusing to merge unrelated histories
……が、失敗した。main と repo_a/main は全く別もので繋がりがないのでマージできない。マージするには --allow-unrelated-histories オプションをつけてやる。
[email protected]:repo_combined$ git merge --allow-unrelated-histories repo_a/main CONFLICT (add/add): Merge conflict in pyproject.toml Auto-merging pyproject.toml Automatic merge failed; fix conflicts and then commit the result.
pyproject.toml にコンフリクトが発生したので、解消してやる。
[email protected]:repo_combined$ code pyproject.toml [email protected]:repo_combined$ git add pyproject.toml [email protected]:repo_combined$ git commit -m "Merge repository 'repo_a/main'."
これで repo_a/main のマージが完了。根元が別のコミットツリーが合流するという、ちょっと不思議な感じのするツリーが出来上がる。
つぎは repo_b。これも同じようにすればいい。
[email protected]:repo_combined$ git remote add -f repo_b https://github.com/takatoh/repo_b.git
リモートブランチ repo_b/main に取り込んだら、main にマージ（--allow-unrelated-histories をつけて）。
[email protected]:repo_combined$ git merge --allow-unrelated-histories repo_b/main CONFLICT (add/add): Merge conflict in pyproject.toml Auto-merging pyproject.toml CONFLICT (add/add): Merge conflict in poetry.lock Auto-merging poetry.lock CONFLICT (add/add): Merge conflict in .gitignore Auto-merging .gitignore Automatic merge failed; fix conflicts and then commit the result.
当然のようにコンフリクトが発生する（今度はファイル３つ）ので解消してやる。
poetry.lock のコンフリクトを解消するのは厄介だけど、そもそもこのファイルは人間が編集するようなものじゃないので、あとで poetry install で作り直せばすむ。ここでは内容の整合は無視して、とにかくコンフリクトを解消してやればいい。
[email protected]:repo_combined$ git add .gitignore [email protected]:repo_combined$ git add pyproject.toml [email protected]:repo_combined$ git add poetry.lock [email protected]:repo_combined$ git commit -m "Merge repository 'repo_b/main'."
で、poetry.lock をいったん削除してから poetry install。
[email protected]:repo_combined$ git rm poetry.lock rm 'poetry.lock' [email protected]:repo_combined$ poetry install [email protected]:repo_combined$ git add poetry.lock [email protected]:repo_combined$ git commit -m "poetry.lock: Re-generate."
これでめでたく完了。
コンタクトシートってのは、画像（写真）のサムネイルを一覧にして1枚のシート（あるいは1ページ）に並べたもののこと。説明するまでもないか。
とにかく、コンタクトシートを作る必要ができて方法を調べてみたら、Windows の標準機能でできることを知った。ところが、確かに簡単に PDF に出力できるんだけど、どういうわけかファイル名の順に並んでくれない。用が足りないわけじゃないんだけどなんとも気持ちが悪い。
なので、ツールを自作することにした。最近は Python を使うことが多いので今回も Python で、と思って PDF の作り方を調べている途中で、そういえば以前、ディレクトリ内の画像をサムネイルのリストを表示する html ファイルを作るツールを作ったな、と思い出した。↓これ。
Go 言語だった。
そういうわけで、久しぶり（最後のコミットは2019年の2月、なんと3年半前だ）に Go を書いて、自分でも忘れてたツールを機能拡張することにした。
方針はこうだ。
mkphotoindex コマンドに --contactsheet オプションを追加して、指定したディレクトリに含まれる画像のサムネイルとファイル名を並べた PDF ファイルを出力する。
PDF を出力できるパッケージを探してみると、github.com/signintech/gopdf というのが見つかった。おおまかな使い方は、ページを追加し、テキストや画像を配置、PDF に出力する、というシンプルなもの。あるいは原始的ともいう。
もう少し楽にできそうなのはないかと探して見つけたのが、github.com/mikeshimura/goreport。これは内部では github.com/signintech/gopdf を使っているけど、帳票を作るのに便利なように作られている。決まったフォーマットの PDF を作るにはちょうどよさそうだと思って、これを使って実装を始めた。参考にしたページは以下。
ところが、なかなか思うようにはいかなかった。Qiita の記事を読むと、結構複雑な帳票も簡単にできるように思えるんだけど、サムネイルを例えば 4列×５行とかに並べるのがうまくできない。多分理解が足りないだけで、いいやり方があるんだと思うんだけど。
で、結局のところ、A4 のページにサムネイル（とファイル名）を並べたいだけだと思いなおして、github.com/signintech/gopdf を直接使うことにした。サムネイルのサイズや位置の調整に時間をとられたけど、とりあえず用は足りるものはできた。
とはいえ問題が一つ残った。github.com/signintech/gopdf は ttf フォントを読み込んで使える（もちろん日本語も）ので、IPAex フォントをダウンロードして使ったんだけど、現状の実装ではカレントディレクトリに フォントファイル ipaex.ttf を置いておく必要がある。これは結構面倒だ。今回に限っては Windows で実行するのが前提なので Windows に標準でついているフォントファイルのパスをコードに埋め込んでしまえば回避できる。でも、ほかの OS でも使うことを考えるとそれは避けたい。コマンドラインオプションでフォントファイルを指定してやることも考えたけど、デフォルトのフォントがあったほうがいい。OS ごとにデフォルトのフォントを決めてやるにはどうしたらいいんだろうか。
メモ。あとでもう少し丁寧に書くつもり。
apt でインストール。
[email protected]:~$ sudo apt install -y squid
設定ファイルは /etc/squid.conf だけど、/etc/squid/conf.d/*.conf を読み込むようになってるので、直接編集せずに /etc/squid/conf.d/panicblanket.conf ファイルを作る。
acl lan src 192.168.2.0/24 http_access allow lan
できたら Squid を再起動。
[email protected]:~$ sudo systemctl restart squid
Squid のデフォルトのまま。3128番のポートを開く。
[email protected]:~$ sudo ufw allow 3128 Rule added Rule added (v6)
Wi-Fi の設定の一番下にある「プロキシを構成」をタップ。「手動」にチェックを入れて、サーバの IP アドレスとポート番号を入力。保存すれば OK。
これで iPad からローカルネットワーク上の Web サーバにアクセスできるようになった。
メモ。
UUID を生成。
>>> import uuid
>>> u = uuid.uuid4()
>>> u
UUID('b7206123-4b26-49ca-b33a-d0fb240c17f9')
Base32エンコードする。
>>> import base64 >>> b = base64.b32encode(u.bytes) >>> b b'W4QGCI2LEZE4VMZ22D5SIDAX7E======'
b はバイト文字列なので、文字列に変換。ついでに後ろに付いている = を取り去る。これは文字数合わせのためのパディングなので取ってしまって構わない。
>>> s = b.decode().rstrip('=')
>>> s
'W4QGCI2LEZE4VMZ22D5SIDAX7E'
さらに、見た目のランダムさを増すために、ラテン文字の大文字と小文字を混在させる。そのために、ランダムにラテン文字を小文字に変換する関数を定義。
>>> import random >>> def down(c): ... if random.choice([True, False]): ... return c.lower() ... else: ... return c
これを、s の一文字ずつに適用。
>>> random_id = ''.join([ down(c) for c in s ]) >>> random_id 'W4qgCi2LEzE4vMz22D5sidAx7E'
これで OK。やや長いのが難点かな。
>>> len(random_id) 26
Docker で Samba サーバをたてるのは諦めた。Ubuntu の上で直接 Samba サーバを動かすことにする。
まずはお決まりの apt update から。
[email protected]:~$ sudo apt update
Samba サーバのインストール。
[email protected]:~$ sudo apt install -y samba
設定ファイルを編集（バックアップをとってから）。
[email protected]:~$ sudo cp /etc/samba/smb.conf /etc/samba/smb.conf.orig [email protected]:~$ sudo vim /etc/samba/smb.conf
ワークグループの名前を変更したほか、ユーザー認証なしでアクセスできる public と takatoh のみアクセスできる restricted の2つの共有フォルダを作った。
もとの設定ファイルとの差分：
[email protected]:~$ diff /etc/samba/smb.conf.orig /etc/samba/smb.conf 29c29 < workgroup = WORKGROUP --- > workgroup = PANICBLANKET 241a242,257 > > [public] > path = /mnt/data/samba > writable = yes > force create mode = 0644 > force directory mode = 0755 > guest ok = yes > guest only = yes > > [restricted] > path = /mnt/data/samba_takatoh > writable = yes > force create mode = 0644 > force directory mode = 0755 > valid users = takatoh > force user = takatoh
コメントを除く全体はこう：
[global]
workgroup = PANICBLANKET
server string = %h server (Samba, Ubuntu)
log file = /var/log/samba/log.%m
max log size = 1000
logging = file
panic action = /usr/share/samba/panic-action %d
server role = standalone server
obey pam restrictions = yes
unix password sync = yes
passwd program = /usr/bin/passwd %u
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
pam password change = yes
map to guest = bad user
usershare allow guests = yes
[printers]
comment = All Printers
browseable = no
path = /var/spool/samba
printable = yes
guest ok = no
read only = yes
create mask = 0700
[print$]
comment = Printer Drivers
path = /var/lib/samba/printers
browseable = yes
read only = yes
guest ok = no
[public]
path = /mnt/data/samba
writable = yes
force create mode = 0644
force directory mode = 0755
guest ok = yes
guest only = yes
[restricted]
path = /mnt/data/samba_takatoh
writable = yes
force create mode = 0644
force directory mode = 0755
valid users = takatoh
force user = takatoh
で、共有用のディレクトリを作る。
[email protected]:~$ sudo mkdir -p /mnt/data/samba [email protected]:~$ sudo chown nobody:nogroup /mnt/data/samba [email protected]:~$ sudo mkdir -p /mnt/data/samba_takatoh ta[email protected]:~$ sudo chown takatoh:takatoh /mnt/data/samba_takatoh
結果としてこうなった。
[email protected]:~$ ls -l /mnt/data total 8 drwxr-xr-x 2 nobody nogroup 4096 May 6 18:13 samba drwxr-xr-x 3 takatoh takatoh 4096 May 6 18:13 samba_takatoh
そして、smbd をリスタート。
[email protected]:~$ sudo systemctl restart smbd
Samba にユーザーを作る。pdbedit コマンド。
[email protected]:~$ sudo pdbedit -a takatoh new password: retype new password: Unix username: takatoh NT username: Account Flags: [U ] User SID: S-1-5-21-3828460484-3255695466-1925772709-1000 Primary Group SID: S-1-5-21-3828460484-3255695466-1925772709-513 Full Name: takatoh Home Directory: \\WPLJ\takatoh HomeDir Drive: Logon Script: Profile Path: \\WPLJ\takatoh\profile Domain: WPLJ Account desc: Workstations: Munged dial: Logon time: 0 Logoff time: Thu, 07 Feb 2036 00:06:39 JST Kickoff time: Thu, 07 Feb 2036 00:06:39 JST Password last set: Fri, 06 May 2022 18:12:32 JST Password can change: Fri, 06 May 2022 18:12:32 JST Password must change: never Last bad password : 0 Bad password count : 0 Logon hours : FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
これでOK。Windows マシンからアクセスしてみると、ちゃんと \\wplj\public には認証無しで読み書きできる。\\wplj\restricted にはユーザー名とパスワードを要求され、正しく入力すれば読み書きできる。
無事完了。
Samba のインストールと設定に際して、ファイアウォール関連は何もしていない。設定は次のようになっている。
[email protected]:~$ sudo ufw status Status: active To Action From -- ------ ---- 22/tcp ALLOW Anywhere 137 ALLOW Anywhere 138 ALLOW Anywhere 139 ALLOW Anywhere 445 ALLOW Anywhere 22/tcp (v6) ALLOW Anywhere (v6) 137 (v6) ALLOW Anywhere (v6) 138 (v6) ALLOW Anywhere (v6) 139 (v6) ALLOW Anywhere (v6) 445 (v6) ALLOW Anywhere (v6)
Docker を使ってやってたときには何が悪かったのか、結局よくわからない。
昨日・今日といろいろ調べながら作業をしたけど、何が悪いのかわからない。もう Docker を使うのは諦めて、Ubuntu に直接 Samba サーバをインストールすることにしようと思うが、記録だけ残しておく。あ、「外部」ってのはローカルネットワーク上の別の PC のこと。
ホストはこの間インストールした Ubuntu Server 22.04 だ。マシン自体は古いけど、いま Samba サーバになってるマシン（これは CentOS 7）はもっと古いので、これを置きかえるつもり。
Docker と docker-compose は Ubuntu のインストール時に一緒にインストールしたもの。Samba には公式の Docker イメージがないらしく、ググるとこの dperson/samba がよく使われてるようなのでこれにした。
あちこちのページを参考にして、docker-compose.yml ファイルはこうした。
version: "3"
services:
samba:
image: dperson/samba
container_name: samba
restart: always
ports:
- "137:137"
- "138:138"
- "139:139"
- "445:445"
volumes:
- "/mnt/data/samba:/mnt/public"
command: [
"-r",
"-S",
"-w", "PANICBLANKET",
"-s", "public;/mnt/public;yes;no;yes;all"
]
これで Docker コンテナを起動してやる。
[email protected]:~$ docker-compose up -d Creating network "takatoh_default" with the default driver Creating samba ... done [email protected]:~$ docker-compose ps Name Command State Ports -------------------------------------------------------------------------------- samba /sbin/tini -- /usr/bin/sam Up (healthy) 0.0.0.0:137->137/tcp,:::137 ... ->137/tcp, 137/udp, 0.0.0.0 :138->138/tcp,:::138->138/t cp, 138/udp, 0.0.0.0:139->1 39/tcp,:::139->139/tcp, 0.0 .0.0:445->445/tcp,:::445->4 45/tcp
次に、外部から接続できるようにホスト側のファイアウォールを設定する。Samba に関連するポートは、137、138、139、445 だ。ufw コマンドで接続を許可する。
[email protected]:~$ sudo ufw allow 137 Rule added Rule added (v6) [email protected]:~$ sudo ufw allow 138 Rule added Rule added (v6) [email protected]:~$ sudo ufw allow 139 Rule added Rule added (v6) [email protected]:~$ sudo ufw allow 445 Rule added Rule added (v6)
そして、ファイアウォールを有効化。
[email protected]:~$ sudo ufw enable Command may disrupt existing ssh connections. Proceed with operation (y|n)? y Firewall is active and enabled on system startup
次のような状態になった。
[email protected]:~$ sudo ufw status Status: active To Action From -- ------ ---- 22/tcp ALLOW Anywhere 137 ALLOW Anywhere 138 ALLOW Anywhere 139 ALLOW Anywhere 445 ALLOW Anywhere 22/tcp (v6) ALLOW Anywhere (v6) 137 (v6) ALLOW Anywhere (v6) 138 (v6) ALLOW Anywhere (v6) 139 (v6) ALLOW Anywhere (v6) 445 (v6) ALLOW Anywhere (v6)
これで完了（のはず）。
Samba サーバは出来上がったはずなので、Windows マシンから接続できるかテストしてみたところ、つながらない。共有フォルダどころか、コンピュータ（ホスト名は wplj）さえも見つからないと言われる。困った。
Samba サーバをたてた wplj とは別の Ubuntu マシン（ホスト名は apostrophe）から、ネットワーク越しに接続できるのかを確認してみた。
まずは ping。
[email protected]:~$ ping wplj PING wplj (192.168.2.12) 56(84) バイトのデータ 64 バイト応答 送信元 wplj (192.168.2.12): icmp_seq=1 ttl=64 時間=0.619ミリ秒 64 バイト応答 送信元 wplj (192.168.2.12): icmp_seq=2 ttl=64 時間=0.538ミリ秒 64 バイト応答 送信元 wplj (192.168.2.12): icmp_seq=3 ttl=64 時間=1.15ミリ秒 64 バイト応答 送信元 wplj (192.168.2.12): icmp_seq=4 ttl=64 時間=0.694ミリ秒 ^C --- wplj ping 統計 --- 送信パケット数 4, 受信パケット数 4, パケット損失 0%, 時間 3057ミリ秒 rtt 最小/平均/最大/mdev = 0.538/0.750/1.150/0.237ミリ秒
OK。そりゃそうだ、SSH で接続できてんだから。
なら、ポートが使えるかどうかを確認する nc コマンド。繋がるのがわかっている 22 番ポート（SSH）で試してみるとこうなる。
[email protected]:~$ nc -vz wplj 22 Connection to wplj 22 port [tcp/ssh] succeeded!
では、Samba の使っている（はず）のポートではどうか。
[email protected]:~$ nc -vz -u wplj 137 [email protected]:~$ nc -vz -u wplj 138 [email protected]:~$ nc -vz wplj 139 nc: connect to wplj port 139 (tcp) failed: Connection refused [email protected]:~$ nc -vz wplj 445 nc: connect to wplj port 445 (tcp) failed: Connection refused
137 番と 138 番で -u オプションを指定してるのは udp だから。何も出力されてないのは、接続できないからだ。tcp をつかう 139 番と 445 番は「失敗した」と明快に出力されてる。
一方のサーバ（wplj）側ではどうだろう。ss コマンドを使う。
[email protected]:~$ ss -natu Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port Process udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* udp UNCONN 0 0 192.168.2.12%enp1s0:68 0.0.0.0:* udp UNCONN 0 0 [fe80::cad3:ffff:fe9d:2f5f]%enp1s0:546 [::]:* tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* tcp ESTAB 0 0 192.168.2.12:22 192.168.2.14:58570 tcp LISTEN 0 128 [::]:22 [::]:*
Status の UNCONN と LISTEN はそれぞれ udp、tcp の待受状態を表す。一つだけある ESTAB はつながっていることを表していて、これは SSH（22番ポート）だ。見事に Samba 関連のポートがない。
いまためしたら、Samba のコンテナが起動してなかった。起動した上で ss コマンドを試すとこうなった。
[email protected]:~$ ss -natu Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port Process udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* udp UNCONN 0 0 192.168.2.12%enp1s0:68 0.0.0.0:* udp UNCONN 0 0 [fe80::cad3:ffff:fe9d:2f5f]%enp1s0:546 [::]:* tcp LISTEN 0 4096 0.0.0.0:137 0.0.0.0:* tcp LISTEN 0 4096 0.0.0.0:138 0.0.0.0:* tcp LISTEN 0 4096 0.0.0.0:139 0.0.0.0:* tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* tcp LISTEN 0 4096 0.0.0.0:445 0.0.0.0:* tcp ESTAB 0 0 192.168.2.12:22 192.168.2.14:58570 tcp LISTEN 0 4096 [::]:137 [::]:* tcp LISTEN 0 4096 [::]:138 [::]:* tcp LISTEN 0 4096 [::]:139 [::]:* tcp LISTEN 0 128 [::]:22 [::]:* tcp LISTEN 0 4096 [::]:445 [::]:*
Samba 関連のポートを待受けるようになった。けど、やっぱり他のコンピュータからはつながらない。
[email protected]:~$ nc -u -vz wplj 137 [email protected]:~$ nc -u -vz wplj 138 [email protected]:~$ nc -vz wplj 139 nc: connect to wplj port 139 (tcp) failed: Connection timed out [email protected]:~$ nc -vz wplj 445 nc: connect to wplj port 445 (tcp) failed: Connection timed out
[追記ここまで]
というわけで、どうやら Docker でたてた Samba のせいじゃなく、コンピュータ間で通信できてないように見える。SSH は問題なくつながってるのに何が違うんだ？