2019-10-19

Linux Mint 19 (Ubuntu 18.04) 設定VNC Server

以下以Linux Mint 19 XFCE (Ubuntu 18.04)為範例:

#安裝vnc4server套件及gnome桌面套件(遠端gnome桌面)
sudo apt-get install gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal vnc4server

若要使用xfce桌面,改安裝以下套件:
sudo apt-get install xfce4 xfce4-goodies vnc4server

#啟動vncserver,此時會要求輸入密碼,並建立~/.vnc/xstartup 連線初始化檔案
vncserver

#修改~/.vnc/xstartup 連線初始化檔案,選擇連線時桌面環境(請依系統桌面修改)
#!/bin/sh

#export XKL_XMODMAP_DISABLE=1
unset SESSION_MANAGER
unset DBUS_SESSION_BUS_ADDRESS
exec startxfce4 #xfce4桌面
#exec gnome-session #gnome桌面

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &

#以下為使用 gnome 桌面的額外設定
#gnome-panel &
#gnome-settings-daemon &
#metacity &
#nautilus &
#gnome-terminal &

#建立 ~/.vnc/config ,設定vncserver啟動參數,加入以下設定:
#localhost=no #設定對外部網路監聽
geometry=1920x1080 #設定解析度
alwaysshared #設定可多重連線

#新增 /etc/systemd/system/vncserver@:1.service,讓vncserver能自啟動
[Unit]
Description=Remote desktop service (VNC)
After=syslog.target network.target

[Service]
Type=forking
User=foo
Group=foo
#PAMName=login
PIDFile=/home/%u/.vnc/%H%i.pid
ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
ExecStart=/usr/bin/vncserver %i -geometry 1440x900 -alwaysshared -fg
ExecStop=/usr/bin/vncserver -kill %i

[Install]
WantedBy=multi-user.target

#啟用、啟動、停止 vncserver.service
sudo systemctl enable vncserver.service
sudo systemctl start vncserver.service
sudo systemctl stop vncserver.service

#重開機後,檢查一下是不是port 5901有正常在所有網卡介面(0.0.0.0)監聽
netstat -tnlup

#vnc遠端連線測試:
sudo apt-get install vncviewer
vncviewer my-vnc-server-ip:5901
或用remmina連線 my-vnc-server-ip:5901 測試

ref:
https://askubuntu.com/questions/475023/how-to-make-vnc-server-work-with-ubuntu-desktop-without-xfce
https://wiki.archlinux.org/index.php/TigerVNC


2019-10-15

VirtualBox 5 安裝 macOS High Sierra

因為有跨平台開發的需求,所以Windows、GNU/Linux、macOS都習慣裝VM來做測試,其中以安裝macOS最麻煩...

就自已的經驗,用vmware安裝macos最穩定好裝,virtualbox裝macos則問題非常多,可以的話推薦用vmware,這裡用virtualbox裝只是想試試是否相容性有進少步(結果證明是自找麻煩)

以下為安裝High Sierra步驟,若要安裝Mojave或Catalina應該也行,只是VirtualBox的macOS預設最高版本只能選High Sierra,因此以安裝High Sierra為範例。

0.安裝VirtualBox及其extension pack:
https://www.virtualbox.org/wiki/Downloads

1.下載作業系統:
若在APP Store找不到你要的作業系統,可利用mas找出並下載曾經下載過的macOS:
https://github.com/mas-cli/mas

各版本代號如下:
macOS 10.7 Lion – 444303913
macOS 10.8 Mountain Lion – 537386512
macOS 10.9 Mavericks – 675248567
macOS 10.10 Yosemite – 915041082
macOS 10.11 El Capitan – 1147835434(適用無法升級10.12的舊機型)
macOS 10.11 El Capitan – 1018109117
macOS 10.12 Sierra – 1127487414
macOS 10.13 High Sierra – 1246284741

2.將作業系統APP轉為ISO檔:
假設作業系統APP已經下載應用程式中,執行以下指令:
hdiutil create -o /tmp/HighSierra.cdr -size 5530m -layout SPUD -fs HFS+J
hdiutil attach /tmp/HighSierra.cdr.dmg -noverify -mountpoint /Volumes/install_build
sudo /Applications/Install\ macOS\ High\ Sierra.app/Contents/Resources/createinstallmedia --volume /Volumes/install_build
mv /tmp/HighSierra.cdr.dmg ~/Desktop/InstallSystem.dmg
hdiutil detach /Volumes/Install\ macOS\ High\ Sierra
hdiutil convert ~/Desktop/InstallSystem.dmg -format UDTO -o ~/Desktop/HighSierra.iso
mv ~/Desktop/HighSierra.iso.cdr ~/Desktop/HighSierra.iso
rm ~/Desktop/InstallSystem.dmg

此時桌面會產生HighSierra.iso,將它複製到要安裝VM的電腦上

3.新增VirtualBpx VM,作以下設定:

  • 新增虛擬機,名稱為MacOS,作業系統類型為 macOS 10.13 High Sierra (64-bit),動態硬碟至少60GB
  • 系統 > 主機版 > 開機順序,取消軟碟
  • 系統 > 主機版,至少4096mb記憶體
  • 系統 > 處理器,選擇2核心
  • 顯示 > 螢幕,設定128mb記憶體,2D/3D加速(要看你的電腦有無支援)
  • 儲存 > 儲存裝置確定為 SATA/AHCI,並掛載剛剛產生的作業系統iso檔
4.在終端機下執行以下指令(若在windows環境,需先進入VirtualBox安裝資料夾執行):
VBoxManage modifyvm "MacOS" --cpuidset 00000001 000106e5 00100800 0098e3fd bfebfbff
VBoxManage setextradata "MacOS" "VBoxInternal/Devices/efi/0/Config/DmiSystemProduct" "iMac11,3"
VBoxManage setextradata "MacOS" "VBoxInternal/Devices/efi/0/Config/DmiSystemVersion" "1.0"
VBoxManage setextradata "MacOS" "VBoxInternal/Devices/efi/0/Config/DmiBoardProduct" "Iloveapple"
VBoxManage setextradata "MacOS" "VBoxInternal/Devices/smc/0/Config/DeviceKey" "ourhardworkbythesewordsguardedpleasedontsteal(c)AppleComputerInc"
VBoxManage setextradata "MacOS" "VBoxInternal/Devices/smc/0/Config/GetKeyFromRealSMC" 1

5.將VM開機,此時會從光碟開機,並進入安裝畫面,這邊開始就是重點:
先開啟磁碟工具,並將硬碟格式化成HFS+,千萬不要選APFS!
不然你的VM設定就要重來一遍了,因為VirtualBox 5不認識APFS, 裝了也只會是無法開機!
假設這裡你把硬碟取名為「Macintosh HD」

之後離開磁碟工具,再從上方選單打開終端機,並執行以下指令:
/Volumes/Image\ Volume/Install\ macOS\ High\ Sierra.app/Contents/Resources/startosinstall --volume Macintosh\ HD --converttoapfs NO --agreetolicense

若遇到沒有反應,或顯示「程式已毀損」之類的,很可能又是開發者憑證時間過期的問題,下指令把時間往前調,如:
date 010100002018 或 date 010100002017
然後再重打安裝指令

此時會將安裝檔複製到硬碟中,複製完會重開機,
此時將VM立即關機並退出光碟,然後再次開機,就會進入到Shell畫面,執行以下指令:
打exit退出Shell
選擇 Boot Maintenance Manager > Boot From File >
選第二個EFI選項 > macOS Install Data > Locked Files > Boot Files > boot.efi

此時就會真正開始安裝macOS了!

6.安裝完系統,在macOS終端機執行以下指令以解除軟體安裝限制:
sudo spctl --master-disable

若你是用VirtualBox 6以上的版本安裝,直接從VirtualBox選單選擇插入Guest Additions光碟,並執行VBoxDarwinAdditions.pkg以安裝guest additions,裝完後若有問題可參考以下鏈結解決:
https://stackoverflow.com/questions/41691803/how-to-install-guest-addition-in-mac-os-as-guest-and-windows-machine-as-host/43715619

若是VirtualBox 5,執行以下指令以修正解析度:
VBoxManage setextradata "MacOS" VBoxInternal2/EfiGraphicsResolution 1920x1080

7.將自已加入vboxusers群組,以正常連接外部裝置(如usb裝置等):
sudo groupadd vboxusers
sudo usermod -aG vboxusers ${USER}
再重開機

2019-08-03

Google Colab 環境深入研究

如果有用過jupyter notebook或jupyter lab,對google的Colab應該很快就能理解並上手,
因為功能本來就很簡單,網路上也有一堆使用教學,所以這裡不需要再重複教那些簡單的東西。

今天來玩點不一樣的,看看colab給我們的虛擬機其實際環境為何?表面上它是給你練習程式用的(自已本機裝個jupyter不是更好用),懂門道的則是會想辦法榨乾這台虛擬機的資源,有GPU & TPU為啥不盡量用來訓練模型?不過Google也說了,你要拿來跑長時間運算的話(訓練模型啦、挖礦啦...),很有可能被中斷運算,更有可能被停止使用Colab,所以佛心還是有其限制的,並不是網路那些教學文說的GPU & TPU用到爽。

先來看它的系統版本,會發現是 Ubuntu 18.04.2:
!cat /etc/os-realease
==================
NAME="Ubuntu"
VERSION="18.04.2 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.2 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic
=================

再來看看身份為何,發現是root:
!whoami
=================
root

看看系統記憶體及硬碟:
!vmstat
!echo
!df -h
================
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 3333896 140012 9319100    0    0   140     7  100  186  0  0 99  0  0

Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   26G   22G  55% /
tmpfs           6.4G     0  6.4G   0% /dev
tmpfs           6.4G     0  6.4G   0% /sys/fs/cgroup
tmpfs           6.4G  8.0K  6.4G   1% /var/colab
/dev/sda1        55G   27G   29G  49% /etc/hosts
shm             6.0G  8.0K  6.0G   1% /dev/shm
tmpfs           6.4G     0  6.4G   0% /sys/firmware
drive            15G  131M   15G   1% /content/drive

看一下process屬於哪個cgroup控制,發現原來容器正是docker:
!cat /proc/self/cgroup
===============
12:rdma:/
11:cpu,cpuacct:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
10:pids:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
9:freezer:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
8:blkio:/docker/fc5610f0b7ea554a6ef808efc233fdc4d0523b52481412d1fc8f324fa44e3bcb
....

看一下目前的python版本及模組路徑(注意,colab或jupyter是透過ipython執行):
!python -V
!ipython -V

import sys
sys.modules['google.colab']
==================
Python 3.6.8
<module 'google.colab' from '/usr/local/lib/python3.6/dist-packages/google/colab/__init__.py'>

想跑個bash也行,不過輸出不會自動清除,輸入也都變成了星號…太跛腳了(後面會介紹如何真正用ssh進入shell),離開打exit或按cell左方的停止鈕即可:
!bash
=====================
bash: cannot set terminal process group (6317): Inappropriate ioctl for device
bash: no job control in this shell
root@fc5610f0b7ea:/content#

它還能直接mount我們自已的google drive:
from google.colab import drive
drive.mount('/content/drive')
=====================

這時我就好奇了,要是能mount的話,不就代表有一支Linux版本的Google File Stream程式嗎?(因為不可能用File Sync同步檔案到虛擬機吧....)

!cat /usr/local/lib/python3.6/dist-packages/google/colab/drive.py
====================
...
drive_bin = _os.path.join(env.root_dir, 'opt/google/drive/drive')
...
====================
原來程式是藏在 /opt/google/drive/drive ,來看一下使用說明:
!/opt/google/drive/drive --helpfull

接下來實驗能不能順利在自已電腦上使用這支程式,我本身是系統是Linux Mint,把
/opt/google/drive/drive
/opt/google/drive/roots.pem
這二支檔案下載回自已本機並放在同樣/opt/google/drive/ 資料夾內,直接下指令掛載:
$umount -f ~/google-drive || umount ~/google-drive; pkill -9 -x drive
$mkdir -p ~/.config/Google
$/opt/google/drive/drive --features=opendir_timeout_ms:86400000,virtual_folders:true --inet_family=IPV4_ONLY --preferences=trusted_root_certs_file_path:/opt/google/drive/roots.pem,mount_point_path:$(echo ~)/drive --console_auth

出現要輸入access key的時候,連到Terminal所顯示的網址去把key複製回來貼上,然後呢?就沒有然後了,因為ip被block掉了,看來這支程式只允許在Colab上跑,殘念。
因為本來都是使用google-drive-ocamlfuse來掛載google drive,不過常常中斷需要重連,所以蠻困擾的,希望Google官方有一天能開放Linux版Google Stream下載。

如果要跑一個對外的server呢?可以使用 http://serveo.net/ 或https://localtunnel.github.io/www/ 用ssh reverse tunnel來開放port給外部連線到這個虛擬機,譬如我想要能夠用新增一個使用者(有sudo權限),並用ssh連到這台虛擬機,那可以利用serveo.net把port 22開放:

虛擬機:
!echo -e "StrictHostKeyChecking no\nUserKnownHostsFile /dev/null" >> /etc/ssh/ssh_config
!echo -e "ClientAliveInterval 120\nClientAliveCountMax 720" >> /etc/ssh/sshd_config
!/etc/init.d/ssh restart
!apt-get update
!apt-get install -y autossh
!adduser userduck; adduser userduck sudo
!autossh -M 0 -R duckvm:22:localhost:22 serveo.net  > /dev/null 2>&1 &

2020.10.06 update:
servero.net似乎已經失效,可參考寶哥做法:
https://blog.miniasp.com/post/2019/12/15/how-to-setup-ssh-reverse-tunnel

本機:
$ssh -J serveo.net userduck@duckvm

$ssh -o ProxyCommand="ssh -W duckvm:22 serveo.net" -v userduck@duckvm
進去後試一下:
$sudo -i
#apt-get install net-tools
#netstat -tnlp

不過要注意的是,你一次頂多只能開二個notebook頁籤做事, notebook關掉後再重開的話,變數值跟輸出都還是會保留,
還有要注意的是,colab網頁放著不做事超過90分鐘,或者連續執行最長12小時後,虛擬機(docker)都會清除重來(跟在colab上重置runtime是一樣意思),上面的檔案、設定、另外安裝的套件...等等,都會不見,如果覺得每次要重新設定環境很煩,可以把script寫個notebook存起來,每次重新執行即可。

想當成臨時12小時的快閃server用,還是不錯用的,譬如架個web server暫時提供服務,然後colab給它跑個 !ping -i 60 8.8.8.8 維持不要idle之類的。

如果希望colab能連接到local runtime,你可以參考這個別人做好的docker image:
https://dev.to/ikeyasu/how-to-use-google-colaboratory-with-local-runtime-4j1p
不過看起來有點舊,還是ubuntu 17而不是ubuntu 18,我是覺得不如自已拉個python3的image回來自已再裝上jupyter。

ref:
https://stackoverflow.com/questions/55050988/can-i-run-a-google-colab-free-edition-script-and-then-shutdown-my-computer



2019-08-02

IntelliJ Idea的market place無法從網路載入plugin清單的問題


如果遇到IntelliJ Idea的market place plugin無法從網路載入清單,
可以先關閉ipv6,或修改idea 的vm options,強制為ipv4試試:

修改
~/.local/share/JetBrains/Toolbox/apps/IDEA-U/ch-0/192.5728.98.vmoptions

加入
-Djava.net.preferIPv4Stack=true

不過很寄怪,改了之後變成時好時壞,不知是不是我是使用openjdk8,而不是用jetbrain jvm的關係。

2019-07-23

Java Web Start(JWS)在JDK11的因應

由於JDk11開始就不會再支援Java Web Start(JWS),以下提供幾種做法:

1.利用JDK11的jlink,對應各平台產生獨立的run-time image,並對應各系統平台製作安裝檔(win->.msi, linux->.deb,.rpm, mac->.pkg蠻累人的)。

記得,你的應用程式如果要能正常的在JDK11跑,module-info.java記得要設定有用到的模組。

2.安裝JDK11後,再安裝icedtea-web:
https://icedtea.classpath.org/wiki/IcedTea-Web
https://github.com/AdoptOpenJDK/IcedTea-Web

github上的release有win跟linux平台的已編譯launcher,但就是沒有mac的,不過也不難處理,可以參照以下這個解法:
https://apple.stackexchange.com/questions/342943/in-macos-how-to-run-a-jnlp-file-with-openjdk-8?rq=1
或者直接在mac自已寫一個shell script launcher:
#!/bin/bash
if [ "x$JAVA_HOME" = "x" ] ; then
    JAVA="$( which java 2>/dev/null )"
else
    JAVA="$JAVA_HOME"/bin/java
fi
if [ "x$JAVA" = "x" ] ; then
    echo "Java executable not found"
exit 1
fi
if [ "x$1" = "x" ] ; then
    echo "Please provide JNLP file as first argument"
    exit 1
fi
$JAVA -Xbootclasspath/a:netx.jar net.sourceforge.jnlp.runtime.Boot $1

icedtea-web >=1.8的版本開始支援jdk11,但在1.8版+jdk11跑似乎有點bug,
譬如AWT視窗凍結,因此我又降回1.6版+jdk8就又恢復正常。
似乎真的是jdk11的bug:
https://icedtea.classpath.org/wiki/IcedTea-Web#Common_Issues
https://bugs.openjdk.java.net/browse/JDK-8204142

3.安裝JDK11後,再安裝OpenWebStart:
https://openwebstart.com/technical-details/

這專案是基於icedtea-web衍生而來,官網表示在jdk8或jdk11都可使用,
也有已編譯好的win/mac/linux/unix執行檔,可以試試看。

4.改用.NET core + GTK,製作跨平台的視窗程式,只是除了windows以外,其它平台都要先安裝.NET core;除了linux外,其它平台都要先安裝GTK library(當然也可以先打包在程式內)

Ubuntu 18.04上同時有jdk8及jdk11的JavaFX(OpenJFX)安裝問題

由於有同時開發java8及java 11的需求,因此裝了openjdk8跟openjdk11,
如果在ubuntu上二個jdk都要安裝javafx(openjfx),會是一件頭痛的事。

先來處理jdk8 + openjfx8:

為了jdk8能使用javafx,需強制降版安裝openjfx8:
sudo apt install \
  openjfx=8u161-b12-1ubuntu2 \
  libopenjfx-java=8u161-b12-1ubuntu2 \
  libopenjfx-jni=8u161-b12-1ubuntu2

sudo apt-mark hold \
  openjfx \
  libopenjfx-java \
  libopenjfx-jni

(當然也可以直接改用oracle jdk8,但oracle是個死要$的公司,你知道的)
改安裝zulu jdk也可以,jkd8直接就含openjfx,未來會連jdk11也一起包含openjfx。
https://www.azul.com/zulu-gets-graphical-with-openjfx/

=========================這裡可以跳過============================
也可以手動下載deb來裝:
https://ubuntu.pkgs.org/18.04/ubuntu-universe-amd64/libopenjfx-java_8u161-b12-1ubuntu2_all.deb.html
https://ubuntu.pkgs.org/18.04/ubuntu-universe-amd64/openjfx_8u161-b12-1ubuntu2_amd64.deb.html
https://ubuntu.pkgs.org/18.04/ubuntu-universe-amd64/libopenjfx-jni_8u161-b12-1ubuntu2_amd64.deb.html

比較怕死的,將這三個.deb手動解壓縮:
dpkg -x libopenjfx-java_8u161-b12-1ubuntu2_all.deb ./openjfx8
dpkg -x openjfx_8u161-b12-1ubuntu2_amd64.deb ./openjfx8
dpkg -x libopenjfx-jni_8u161-b12-1ubuntu2_amd64.deb ./openjfx8
再依解壓縮後的目錄結構放到系統對應的資料夾。

或直接下指令強迫安裝(注意,--refuse-overwrite=不覆寫舊檔):
dpkg --install --refuse-overwrite --force-depends --force-conflicts libopenjfx-java_8u161-b12-1ubuntu2_all.deb
dpkg --install --refuse-overwrite --force-depends --force-conflicts openjfx_8u161-b12-1ubuntu2_amd64.deb
dpkg --install --refuse-overwrite --force-depends --force-conflicts libopenjfx-jni_8u161-b12-1ubuntu2_amd64.deb
=================================================================

再來處理jdk11+ openjfx11:

要是apt強制降版裝openjfx8,那原本預設的openjfx11就會被移除,
因此只能手動處理。

先手動下載openjfx模組(JavaFX Linux jmods)放到:
/usr/lib/jvm/java-1.11.0-openjdk-amd64/jmods

再下載openjfx SDK(JavaFX Linux SDK),解壓縮後要放哪都行,譬如放到
/usr/lib/jvm/java-1.11.0-openjdk-amd64/openjfx

如果是用Jetbrains IntelliJ + JDK >=11,可以參考以下設定環境:
https://openjfx.io/openjfx-docs/#IDE-Intellij
(先新增專案的openjfx SDK library路徑,然後編輯module-info.class加入javafx對應模組,或直接在VM啟動選項新增模組路徑及對應模組)

=================================================================
別忘了裝scene builder:
https://www.oracle.com/technetwork/java/javase/downloads/javafxscenebuilder-1x-archive-2199384.html
https://docs.oracle.com/javase/8/scene-builder-2/installation-guide/jfxsb-installation_2_0.htm
=================================================================
ref:
https://stackoverflow.com/questions/49469941/netbeans-error-bundler-webstart-jnlp-bundler-jnlp-failed-to-produce-a-bundl
http://hongouru.blogspot.com/2015/09/solved-error-building-new-project-using.html
https://stackoverflow.com/questions/53744923/java-lang-unsatisfiedlinkerror-com-sun-glass-ui-gtk-gtkapplication-isdisplayva
https://bugs.launchpad.net/ubuntu/+source/openjfx/+bug/1799946

2019-07-18

Arch Linux 安裝在VirtualBox後,安裝Guest Additions

將Arch Linux安裝在VirutalBox(GUEST端)跟一般安裝一樣沒啥特別,不過安裝Guest Additions時會比較麻煩一點:

1.在VBox選單選擇「Devices/Insert Guest Additions CD Image...」

2.安裝build kernel必要的package:
#sudo pacman -S gcc make perl

3.找出kernel版本,再安裝headers:
#uname -r
<4.19.59-1-MANJARO>

#sudo pacman -Si linux419-headers
版本: 4.19.59-1

#sudo pacmam -S linux419-headers

4.安裝guest additions
cd /run/media/username/VBox_GAs_6.0.10/
sudo sh VBoxLinuxAdditions.run

5.重開機,可以調整解析度囉!別忘了還要在HOST端安裝Extension Pack,才能支援USB 2.0 and USB 3.0 devices, VirtualBox RDP, disk encryption, NVMe and PXE boot for Intel cards…等功能

6.以後要是有升級kernel,記得要
rcvboxadd quicksetup <version>
或直接
rcvboxadd quicksetup all
重建module

ref:
https://wiki.archlinux.org/index.php/VirtualBox#Installation_steps_for_Arch_Linux_guests
https://www.virtualbox.org/wiki/Downloads