2019-08-03

Google Colab 環境深入研究

如果有用過jupyter notebook或jupyter lab,對google的Colab應該很快就能理解並上手,
因為功能本來就很簡單,網路上也有一堆使用教學,所以這裡不需要再重複教那些簡單的東西。

今天來玩點不一樣的,看看colab給我們的虛擬機其實際環境為何?表面上它是給你練習程式用的(自已本機裝個jupyter不是更好用),懂門道的則是會想辦法榨乾這台虛擬機的資源,有GPU & TPU為啥不盡量用來訓練模型?不過Google也說了,你要拿來跑長時間運算的話(訓練模型啦、挖礦啦...),很有可能被中斷運算,更有可能被停止使用Colab,所以佛心還是有其限制的,並不是網路那些教學文說的GPU & TPU用到爽。

先來看它的系統版本,會發現是 Ubuntu 18.04.2:
!cat /etc/os-realease
==================
NAME="Ubuntu"
VERSION="18.04.2 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.2 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic
=================

再來看看身份為何,發現是root:
!whoami
=================
root

看看系統記憶體及硬碟:
!vmstat
!echo
!df -h
================
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 3333896 140012 9319100    0    0   140     7  100  186  0  0 99  0  0

Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   26G   22G  55% /
tmpfs           6.4G     0  6.4G   0% /dev
tmpfs           6.4G     0  6.4G   0% /sys/fs/cgroup
tmpfs           6.4G  8.0K  6.4G   1% /var/colab
/dev/sda1        55G   27G   29G  49% /etc/hosts
shm             6.0G  8.0K  6.0G   1% /dev/shm
tmpfs           6.4G     0  6.4G   0% /sys/firmware
drive            15G  131M   15G   1% /content/drive

看一下process屬於哪個cgroup控制,發現原來容器正是docker:
!cat /proc/self/cgroup
===============
12:rdma:/
11:cpu,cpuacct:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
10:pids:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
9:freezer:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
8:blkio:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
....

看一下目前的python版本及模組路徑(注意,colab或jupyter是透過ipython執行):
!python -V
!ipython -V

import sys
sys.modules['google.colab']
==================
Python 3.6.8
<module 'google.colab' from '/usr/local/lib/python3.6/dist-packages/google/colab/__init__.py'>

想跑個bash也行,不過輸出不會自動清除,輸入也都變成了星號…太跛腳了(後面會介紹如何真正用ssh進入shell),離開打exit或按cell左方的停止鈕即可:
!bash
=====================
bash: cannot set terminal process group (6317): Inappropriate ioctl for device
bash: no job control in this shell
root@fc5610f0b7ea:/content#

它還能直接mount我們自已的google drive:
from google.colab import drive
drive.mount('/content/drive')
=====================

這時我就好奇了,要是能mount的話,不就代表有一支Linux版本的Google File Stream程式嗎?(因為不可能用File Sync同步檔案到虛擬機吧....)

!cat /usr/local/lib/python3.6/dist-packages/google/colab/drive.py
====================
...
drive_bin = _os.path.join(env.root_dir, 'opt/google/drive/drive')
...
====================
原來程式是藏在 /opt/google/drive/drive ,來看一下使用說明:
!/opt/google/drive/drive --helpfull

接下來實驗能不能順利在自已電腦上使用這支程式,我本身是系統是Linux Mint,把
/opt/google/drive/drive
/opt/google/drive/roots.pem
這二支檔案下載回自已本機並放在同樣/opt/google/drive/ 資料夾內,直接下指令掛載:
$umount -f ~/google-drive || umount ~/google-drive; pkill -9 -x drive
$mkdir -p ~/.config/Google
$/opt/google/drive/drive --features=opendir_timeout_ms:86400000,virtual_folders:true --inet_family=IPV4_ONLY --preferences=trusted_root_certs_file_path:/opt/google/drive/roots.pem,mount_point_path:$(echo ~)/drive --console_auth

出現要輸入access key的時候,連到Terminal所顯示的網址去把key複製回來貼上,然後呢?就沒有然後了,因為ip被block掉了,看來這支程式只允許在Colab上跑,殘念。
因為本來都是使用google-drive-ocamlfuse來掛載google drive,不過常常中斷需要重連,所以蠻困擾的,希望Google官方有一天能開放Linux版Google Stream下載。

如果要跑一個對外的server呢?可以使用 http://serveo.net/ 或https://localtunnel.github.io/www/ 用ssh reverse tunnel來開放port給外部連線到這個虛擬機,譬如我想要能夠用新增一個使用者(有sudo權限),並用ssh連到這台虛擬機,那可以利用serveo.net把port 22開放:

虛擬機:
!echo -e "StrictHostKeyChecking no\nUserKnownHostsFile /dev/null" >> /etc/ssh/ssh_config
!echo -e "ClientAliveInterval 120\nClientAliveCountMax 720" >> /etc/ssh/sshd_config
!/etc/init.d/ssh restart
!apt-get update
!apt-get install -y autossh
!adduser userduck; adduser userduck sudo
!autossh -M 0 -R duckvm:22:localhost:22 serveo.net  > /dev/null 2>&1 &

2020.10.06 update:
servero.net似乎已經失效,可參考寶哥做法:
https://blog.miniasp.com/post/2019/12/15/how-to-setup-ssh-reverse-tunnel

本機:
$ssh -J serveo.net userduck@duckvm

$ssh -o ProxyCommand="ssh -W duckvm:22 serveo.net" -v userduck@duckvm
進去後試一下:
$sudo -i
#apt-get install net-tools
#netstat -tnlp

不過要注意的是,你一次頂多只能開二個notebook頁籤做事, notebook關掉後再重開的話,變數值跟輸出都還是會保留,
還有要注意的是,colab網頁放著不做事超過90分鐘,或者連續執行最長12小時後,虛擬機(docker)都會清除重來(跟在colab上重置runtime是一樣意思),上面的檔案、設定、另外安裝的套件...等等,都會不見,如果覺得每次要重新設定環境很煩,可以把script寫個notebook存起來,每次重新執行即可。

想當成臨時12小時的快閃server用,還是不錯用的,譬如架個web server暫時提供服務,然後colab給它跑個 !ping -i 60 8.8.8.8 維持不要idle之類的。

如果希望colab能連接到local runtime,你可以參考這個別人做好的docker image:
https://dev.to/ikeyasu/how-to-use-google-colaboratory-with-local-runtime-4j1p
不過看起來有點舊,還是ubuntu 17而不是ubuntu 18,我是覺得不如自已拉個python3的image回來自已再裝上jupyter。

ref:
https://stackoverflow.com/questions/55050988/can-i-run-a-google-colab-free-edition-script-and-then-shutdown-my-computer



2019-08-02

IntelliJ Idea的market place無法從網路載入plugin清單的問題


如果遇到IntelliJ Idea的market place plugin無法從網路載入清單,
可以先關閉ipv6,或修改idea 的vm options,強制為ipv4試試:

修改
~/.local/share/JetBrains/Toolbox/apps/IDEA-U/ch-0/192.5728.98.vmoptions

加入
-Djava.net.preferIPv4Stack=true

不過很寄怪,改了之後變成時好時壞,不知是不是我是使用openjdk8,而不是用jetbrain jvm的關係。

2019-07-23

Java Web Start(JWS)在JDK11的因應

由於JDk11開始就不會再支援Java Web Start(JWS),以下提供幾種做法:

1.利用JDK11的jlink,對應各平台產生獨立的run-time image,並對應各系統平台製作安裝檔(win->.msi, linux->.deb,.rpm, mac->.pkg蠻累人的)。

記得,你的應用程式如果要能正常的在JDK11跑,module-info.java記得要設定有用到的模組。

2.安裝JDK11後,再安裝icedtea-web:
https://icedtea.classpath.org/wiki/IcedTea-Web
https://github.com/AdoptOpenJDK/IcedTea-Web

github上的release有win跟linux平台的已編譯launcher,但就是沒有mac的,不過也不難處理,可以參照以下這個解法:
https://apple.stackexchange.com/questions/342943/in-macos-how-to-run-a-jnlp-file-with-openjdk-8?rq=1
或者直接在mac自已寫一個shell script launcher:
#!/bin/bash
if [ "x$JAVA_HOME" = "x" ] ; then
    JAVA="$( which java 2>/dev/null )"
else
    JAVA="$JAVA_HOME"/bin/java
fi
if [ "x$JAVA" = "x" ] ; then
    echo "Java executable not found"
exit 1
fi
if [ "x$1" = "x" ] ; then
    echo "Please provide JNLP file as first argument"
    exit 1
fi
$JAVA -Xbootclasspath/a:netx.jar net.sourceforge.jnlp.runtime.Boot $1

icedtea-web >=1.8的版本開始支援jdk11,但在1.8版+jdk11跑似乎有點bug,
譬如AWT視窗凍結,因此我又降回1.6版+jdk8就又恢復正常。
似乎真的是jdk11的bug:
https://icedtea.classpath.org/wiki/IcedTea-Web#Common_Issues
https://bugs.openjdk.java.net/browse/JDK-8204142

3.安裝JDK11後,再安裝OpenWebStart:
https://openwebstart.com/technical-details/

這專案是基於icedtea-web衍生而來,官網表示在jdk8或jdk11都可使用,
也有已編譯好的win/mac/linux/unix執行檔,可以試試看。

4.改用.NET core + GTK,製作跨平台的視窗程式,只是除了windows以外,其它平台都要先安裝.NET core;除了linux外,其它平台都要先安裝GTK library(當然也可以先打包在程式內)

Ubuntu 18.04上同時有jdk8及jdk11的JavaFX(OpenJFX)安裝問題

由於有同時開發java8及java 11的需求,因此裝了openjdk8跟openjdk11,
如果在ubuntu上二個jdk都要安裝javafx(openjfx),會是一件頭痛的事。

先來處理jdk8 + openjfx8:

為了jdk8能使用javafx,需強制降版安裝openjfx8:
sudo apt install \
  openjfx=8u161-b12-1ubuntu2 \
  libopenjfx-java=8u161-b12-1ubuntu2 \
  libopenjfx-jni=8u161-b12-1ubuntu2

sudo apt-mark hold \
  openjfx \
  libopenjfx-java \
  libopenjfx-jni

(當然也可以直接改用oracle jdk8,但oracle是個死要$的公司,你知道的)
改安裝zulu jdk也可以,jkd8直接就含openjfx,未來會連jdk11也一起包含openjfx。
https://www.azul.com/zulu-gets-graphical-with-openjfx/

=========================這裡可以跳過============================
也可以手動下載deb來裝:
https://ubuntu.pkgs.org/18.04/ubuntu-universe-amd64/libopenjfx-java_8u161-b12-1ubuntu2_all.deb.html
https://ubuntu.pkgs.org/18.04/ubuntu-universe-amd64/openjfx_8u161-b12-1ubuntu2_amd64.deb.html
https://ubuntu.pkgs.org/18.04/ubuntu-universe-amd64/libopenjfx-jni_8u161-b12-1ubuntu2_amd64.deb.html

比較怕死的,將這三個.deb手動解壓縮:
dpkg -x libopenjfx-java_8u161-b12-1ubuntu2_all.deb ./openjfx8
dpkg -x openjfx_8u161-b12-1ubuntu2_amd64.deb ./openjfx8
dpkg -x libopenjfx-jni_8u161-b12-1ubuntu2_amd64.deb ./openjfx8
再依解壓縮後的目錄結構放到系統對應的資料夾。

或直接下指令強迫安裝(注意,--refuse-overwrite=不覆寫舊檔):
dpkg --install --refuse-overwrite --force-depends --force-conflicts libopenjfx-java_8u161-b12-1ubuntu2_all.deb
dpkg --install --refuse-overwrite --force-depends --force-conflicts openjfx_8u161-b12-1ubuntu2_amd64.deb
dpkg --install --refuse-overwrite --force-depends --force-conflicts libopenjfx-jni_8u161-b12-1ubuntu2_amd64.deb
=================================================================

再來處理jdk11+ openjfx11:

要是apt強制降版裝openjfx8,那原本預設的openjfx11就會被移除,
因此只能手動處理。

先手動下載openjfx模組(JavaFX Linux jmods)放到:
/usr/lib/jvm/java-1.11.0-openjdk-amd64/jmods

再下載openjfx SDK(JavaFX Linux SDK),解壓縮後要放哪都行,譬如放到
/usr/lib/jvm/java-1.11.0-openjdk-amd64/openjfx

如果是用Jetbrains IntelliJ + JDK >=11,可以參考以下設定環境:
https://openjfx.io/openjfx-docs/#IDE-Intellij
(先新增專案的openjfx SDK library路徑,然後編輯module-info.class加入javafx對應模組,或直接在VM啟動選項新增模組路徑及對應模組)

=================================================================
別忘了裝scene builder:
https://www.oracle.com/technetwork/java/javase/downloads/javafxscenebuilder-1x-archive-2199384.html
https://docs.oracle.com/javase/8/scene-builder-2/installation-guide/jfxsb-installation_2_0.htm
=================================================================
ref:
https://stackoverflow.com/questions/49469941/netbeans-error-bundler-webstart-jnlp-bundler-jnlp-failed-to-produce-a-bundl
http://hongouru.blogspot.com/2015/09/solved-error-building-new-project-using.html
https://stackoverflow.com/questions/53744923/java-lang-unsatisfiedlinkerror-com-sun-glass-ui-gtk-gtkapplication-isdisplayva
https://bugs.launchpad.net/ubuntu/+source/openjfx/+bug/1799946

2019-07-18

Arch Linux 安裝在VirtualBox後,安裝Guest Additions

將Arch Linux安裝在VirutalBox(GUEST端)跟一般安裝一樣沒啥特別,不過安裝Guest Additions時會比較麻煩一點:

1.在VBox選單選擇「Devices/Insert Guest Additions CD Image...」

2.安裝build kernel必要的package:
#sudo pacman -S gcc make perl

3.找出kernel版本,再安裝headers:
#uname -r
<4.19.59-1-MANJARO>

#sudo pacman -Si linux419-headers
版本: 4.19.59-1

#sudo pacmam -S linux419-headers

4.安裝guest additions
cd /run/media/username/VBox_GAs_6.0.10/
sudo sh VBoxLinuxAdditions.run

5.重開機,可以調整解析度囉!別忘了還要在HOST端安裝Extension Pack,才能支援USB 2.0 and USB 3.0 devices, VirtualBox RDP, disk encryption, NVMe and PXE boot for Intel cards…等功能

6.以後要是有升級kernel,記得要
rcvboxadd quicksetup <version>
或直接
rcvboxadd quicksetup all
重建module

ref:
https://wiki.archlinux.org/index.php/VirtualBox#Installation_steps_for_Arch_Linux_guests
https://www.virtualbox.org/wiki/Downloads

2019-07-11

Visual Studio Code使用Remote-SSH套件遠端作業

由於常常需要ssh連到server修改檔案,之前是使用VSCode的remote workspace套件:
https://marketplace.visualstudio.com/items?itemName=mkloubert.vscode-remote-workspace

後來微軟又出了個Remote Development套件,裡面包含了:

  • Remote - SSH - Work with source code in any location by opening folders on a remote machine/VM using SSH. Supports connecting to x86_64 Linux SSH servers now, and more platforms are on the way.
  • Remote - Containers - Work with a sandboxed toolchain or container based application by opening any folder inside (or mounted into) a container.
  • Remote - WSL - Get a Linux-powered development experience from the comfort of Windows by opening any folder in the Windows Subsystem for Linux.
如果只有SSH遠端作業的需求,只要單獨安裝Remote - SSH即可:

目前該套件能正常連線遠端server有以下作業系統:
Full support: x86_64 Debian 8+, Ubuntu 16.04+, CentOS / RHEL 7+.
Experimental support: ARMv7l Raspbian 8+ (32-bit) in Visual Studio Code Insiders only.

果然我找了台CentOS 6就無法連線成功了...但其實如果你堅持要能在版本比較舊的server端使用,可以參照以下說明,在server端安裝缺少的一些library:
https://code.visualstudio.com/docs/remote/linux#_tips-by-linux-distribution

像CentOS 6可以照以下方法讓Remote-SSH套件能使用,安裝完重開機即可(注意,因為是升級library,可能會造成server某些服務不正常,如果是跑重要服務的server要升級library前請三思):
https://code.visualstudio.com/docs/remote/linux#_updating-glibc-and-libstdc-on-rhel-centos-6

不過遠端server要先做一些設定,修改 /etc/ssh/sshd_config,將 AllowTcpForwarding設定為yes,然後記得restart ssh demon:
sudo systemctl restart sshd

sudo service sshd restart
這樣本機端才能對server端建立 SSH tunnel,因為Remote - SSH必須靠建立tunnel才能使用(有點雷...)。

還有幾個設定比較需要注意的:

"remote.SSH.useLocalServer": true/false -> 讓vscode視窗共用單一連線,這會讓開啟vscode更快且不用一直輸入密碼,但有時候會造成無法正常連線(譬如timeout),此時設為false試試。一般來說我是設為false,但有些人須設為true才會沒問題。

"remote.SSH.listenOnSocket":true/false -> 如果remote server上有很多使用者的話(MacOS/Linux),那麼讓遠端的vscode server改用socket模式監聽,這樣可以增加安全性,同時sshd的AllowStreamLocalForwarding設定也要設為yes,這樣才能把tcp給forward到socket上。

接下來就是安裝Remote - SSH套件,連線ssh的方式較常見有key based authentication,或輸入password的方式、還有就是同時key+password,個人是習慣每次連線只輸入密碼,
至於網路一些教學說只能用key的方式,我覺得這些人也是東抄西抄不求甚解,這套件是基於ssh使用的,當然是可以直接輸入密碼認證。

先修改本機 ~/.ssh/config 檔案,加入以下設定:
Host server1
    HostName server1.com.tw
    User username

Host server2
    HostName server2.com.tw
    User username

#避免要多次輸入密碼,加入以下ControlMaster設定
Host *
    ControlMaster auto
    ControlPath  ~/.ssh/sockets/%r@%h-%p
    ControlPersist  24h

#防止timeout,每120秒就向server發送keep-alive封包,超過60次無回應斷線
ServerAliveInterval 120
ServerAliveCountMax 60


建立 ~/.ssh/sockets 資料夾:
mkdir -p ~/.ssh/sockets

之後就可以開始連線了,連線過程中會出現prompt要你輸入密碼,完成。




2019-07-09

Linux MInt 19 (Ubuntu 18.04)安裝Mednafen

Mednafen是另一套支援多種遊戲機的模擬器,當然在RetroArch也已包含Mednafen的遊戲核心(beetle開頭的都是),所以一般來說安裝RetroArch就不需要安裝Mednafen了,除非是習慣使用Mednafen,隨君喜好。

還有一套叫higan,但因此作者的設計理念是「精準模擬」,所以跑起來影像或聲音很可能會有卡頓的情形,不建議拿來玩遊戲,但要學習如何寫模擬器倒是可以參考。

由於Ubuntu上的Mednafen套件版本太舊,以下為自行compile & install的步驟:

1.下載mednafen的source code:
https://mednafen.github.io/releases/
此次下載的是 1.22.2版:
https://mednafen.github.io/releases/files/mednafen-1.22.2.tar.xz

2.安裝編譯時需要的工具及函式庫:
sudo apt-get install build-essential pkg-config libasound2-dev libsdl2-dev libsndfile1-dev zlib1g-dev

3.解壓縮並開始compile(建議用gcc)及安裝,譬如解壓縮到 ~/TEMP/mednafen後:
cd ~/TEMP/mednafen
./configure & make
sudo make install

4.下載前端介面mednaffe:
https://github.com/AmatCoder/mednaffe/releases
此次下載的是0.8.8 (注意:mednafen 1.xx開始需配合mednaffe >= 0.8.7使用)

5.解壓縮並開始compile(建議用gcc)及安裝,譬如解壓縮到 ~/TEMP/mednaffe-0.8.8 後:
cd /TEMP/mednaffe-0.8.8
./configure & make
sudo make install

6.啟動mednaffe,第一次可能會詢問mednafen路徑,使用 whereis mednafen 指令查詢後,指向正確執行檔路徑。

7.若要移除,進到原本compile的資料夾,make uninstall即可。