分类 编程 下的文章

Automatic Snapshots for Google (gcloud) Compute Engine

Bash script for Automatic Snapshots and Cleanup on Google Compute Engine. Requires no user input!

Inspiration (and the installation instructions) taken from AWS script aws-ec2-ebs-automatic-snapshot-bash

How it works

gcloud-snapshot.sh will:

  • Determine the Instance ID of the Google Compute Engine server on which the script runs
  • Get all the Disk IDs attached to that instance
  • Take a snapshot of each Disk
  • The script will then delete all associated snapshots taken by the script for the Instance that are older than 7 days (optional: default snapshot retention can be changed by using -d flag)

Prerequisites

  • cURL must be installed
  • The VM must have the sufficient gcloud permissions, including "compute" set to "enabled":

    [    http://stackoverflow.com/questions/31905966/gcloud-compute-list-networks-error-some-requests-did-not-succeed-insufficie#31928399](http://stackoverflow.com/questions/31905966/gcloud-compute-list-networks-error-some-requests-did-not-succeed-insufficie#31928399)
  • The version of gcloud is up to date: gcloud components update

Installation

ssh on to the server you wish to have backed up

Install Script: Download the latest version of the snapshot script and make it executable:

cd ~
wget https://raw.githubusercontent.com/jacksegal/google-compute-snapshot/master/gcloud-snapshot.sh
chmod +x gcloud-snapshot.sh
sudo mkdir -p /opt/google-compute-snapshot
sudo mv gcloud-snapshot.sh /opt/google-compute-snapshot/

To manually test the script:

sudo /opt/google-compute-snapshot/gcloud-snapshot.sh

Setup CRON: You should then setup a cron job in order to schedule a daily backup. Example cron for Debian based Linux:

0 5 * * * root /opt/google-compute-snapshot/gcloud-snapshot.sh >> /var/log/cron/snapshot.log 2>&1

Please note: the above command sends the output to a log file: /var/log/cron/snapshot.log - instructions for creating & managing the log file are below.

Manage CRON Output: You should then create a directory for all cron outputs and add it to logrotate:

  • Create new directory:
sudo mkdir /var/log/cron 
  • Create empty file for snapshot log:
sudo touch /var/log/cron/snapshot.log
  • Change permissions on file:
sudo chgrp adm /var/log/cron/snapshot.log
sudo chmod 664 /var/log/cron/snapshot.log
  • Create new entry in logrotate so cron files don't get too big :
sudo nano /etc/logrotate.d/cron
  • Add the following text to the above file:
/var/log/cron/*.log {
    daily
    missingok
    rotate 14
    compress
    notifempty
    create 664 root adm
    sharedscripts
}

Snapshot Retention

By default snapshots will be kept for 7 days, however they can be kept for longer / shorter, by using the the -d flag:

Usage: ./snapshot.sh [-d <days>]

Options:

   -d  Number of days to keep snapshots. Snapshots older than this number deleted.
       Default if not set: 7 [OPTIONAL]

Q: 如何限制 php 访问其他目录

open_basedir 设置能将 PHP 所能打开的文件限制在指定的目录树,包括文件本身。

当一个脚本试图用例如 fopen() 或者 gzopen() 打开一个文件时,该文件的位置将被检查。当文件在指定的目录树之外时 PHP 将拒绝打开它。

; open_basedir, if set, limits all file operations to the defined
directory ; and below. This directive makes most sense if used in a
per-directory ; or per-virtualhost web server configuration file. ;
http://php.net/open-basedir ;open_basedir =

Q: 如何在 Nginx 对站点配置:

location ~ \.php$ {
  fastcgi_pass   127.0.0.1:9000;
  fastcgi_index  index.php;
  fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
  fastcgi_param  PHP_VALUE "open_basedir=/srv:/tmp";
  include        fastcgi_params;
}

input.gif

函数防抖(debounce)

在事件被触发n秒后再执行回调,如果在这n秒内又被触发,则重新计时。

input-debounce.gif

函数节流(throttle)

规定在一个单位时间内,只能触发一次函数。如果这个单位时间内触发多次函数,只有一次生效。

input-throttle.gif

使用listbucket命令列举出需要复制的当前空间

qshell listbucket bucket_name bucket.txt

上步操作后会在当前目录下生成一个名为bucket.txt的list文件列表,格式如下:

photo1.jpg  109787  FvaTV7fZz6G_1W6WyzQdktMbqPuv    14526031733113853   image/jpeg
photo2.jpg  256148  Fq3vt4smenbZ_ev-iba2Yukx5d9B    14526031741765437   image/jpeg
photo3.jpg  194277  FtxVybqCmEm_ZWEJ6l2vg-qKbzWh    14526031747456153   image/jpeg
photo4.jpg  131862  FslN6hs8puP_ksS6KYCl0OxgcWoO    14526031770721477   image/jpeg

而我们只需要得到最前面的文件key就可以了,可以使用一条awk字符处理命令就可以了

cat bucket.txt | awk '{print $1}' >files.txt 

这样就在当前目录生成了一个如下只包含文件的key的txt文件files.txt

photo1.jpg
photo3.jpg
photo4.jpg
photo5.jpg

使用batchcopy命令将文件同步到需要复制的空间里面

qshell batchcopy bucket_1 bucket_2 files.txt

闭包的概念:为包含外部变量的函数及外部变量所创建的内存栈叫闭包
闭包的作用:通过函数调用的方式改变一个变量从而防止直接修改变量

Closures are created whenever a variable that is defined outside the
current scope is accessed from within some inner scope.



- 阅读剩余部分 -

我之前写过很久 PHP, 但现在是 PHP 黑,简单说一下原因。

语法设计不合理


这个诚然有历史原因,但确实是不合理。

命名空间用()分隔,简直丧心病狂;对象成员用(->)访问,略显繁琐
函数名不区分大小写,老版本的类名也不区分大小写,而变量名却区分大小写
数组的写法繁琐(array()),直到 5.4 才有简写语法([])
这样function test_array(array $input_array), 可以限制参数的类型,适用于类和数组,却不适用于int 和 string
unset, echo, empty, list 长得像函数,却不是函数
直到 5.4 才支持 func()[0] 这种写法
大部分内部函数默认不会抛出异常,导致 PHP 中存在两套独立的错误处理机制
很多被弃用的功能仍被广泛使用,新的功能被普及得很慢

这个是使用者的事情,但情况就是如此。

在开源软件中更为突出,比如 WordPress 为了尽可能兼容旧的 PHP 版本,没法用上例如匿名函数(5.3), 数组简写语法(5.4) 这种能够大幅改善代码可读性的功能。

下面是一些被弃用的功能,这些功能大多是设计上存在失误,后来因为可能导致潜在的问题被弃用,但因为网络上互相转载的一些不靠谱教程,所以很多人依然在使用。

__autoload
mysql_* 系列函数
Register Globals
Magic Quotes
Safe Mode

缺少好用的包管理器和依赖管理方案


PHP 和 Python, Ruby, Node.js 在使用领域上是有一定重叠的,我们来比较一下包的数量:

PHP Composer: 46k
Python PyPI: 53k
Ruby Gems: 94k
Node.js NPM: 116k
虽然包的数量不代表质量,但是代表了人们是否愿意发布和使用包。

Composer 在 PHP 中的普及率恐怕不及上面其他三款包管理器,比如作为最火的博客程序 WordPress, 和国内的 Typecho 都没有使用 Composer, 而是直接在源代码中包含所有依赖。

必须为每个请求创建一个单独的进程


PHP 必须为每个请求创建一个进程(或线程),这导致在高并发的情况下会占用大量内存。

在 PHP 中很难创建一个资源,并让它可以在全局范围内,可以被所有请求访问到,只能通过外部的数据库或缓存来实现。亦没有办法定义一项任务,独立于其他请求运行,只能通过单独的任务队列来解决。虽然这两个问题并不严重,但无法轻量级地维护全局的状态,算是一个缺憾。

PHP 是为 Web 优化的编程语言


可以直接用 $_GET 和 $_POST 访问来自客户端的 GET 和 POST 数据
可以用 <?php ?> 的方式嵌入到 HTML 文件中
现在大多数 Web 程序,往往都是 MVC 架构,在这种架构下,具有额外语法糖的 PHP 并不会比通用编程语言更好用。

相反的方面,虽然 PHP 可以用于 Web 之外的场景,但坑实在是多。例如缺少好用的异步流程控制的方案等。

在默认情况下,linux终端输出的文字并不是彩色的。那么,如果想让linux输出彩色文本,那么应该怎么做呢? `echo -e
"e[1;颜色代码m显示的文字e[0m"`

  • 红色:31
  • 绿色:32
  • 黄色:33
  • 蓝色:34
  • 洋红:35
  • 青色:36
  • 白色:37
  • 黑色:38