Google App Engine 故障出包

昨天晚上(2009/07/02)的時候Google App Engine開始變得不穩，一開始是偶發的datastore寫入錯誤，加上讀取速度變慢，後來datastore的寫入完全無法使用，讀取則是偶爾出錯(Error: An error occurred for the API request datastore_v3.Get())，我第一次遇到這種持續完全不能用的情形，過去也曾有遇過偶發性的問題 不過通常都只會出現一下下

  File "/base/python_lib/versions/1/google/appengine/ext/db/__init__.py", line 696, in put
    return datastore.Put(self._entity)
  File "/base/python_lib/versions/1/google/appengine/api/datastore.py", line 166, in Put
    raise _ToDatastoreError(err)
  File "/base/python_lib/versions/1/google/appengine/api/datastore.py", line 2055, in _ToDatastoreError
    raise errors[err.application_error](err.error_detail)
Timeout

甚至連管理後台(http://appengine.google.com)也整個掛掉，沒多久之後Google就立刻將datastore寫入和上傳程式碼的功能關閉，進入維修

CapabilityDisabledError: Datastore writes are temporarily disabled.

另外還關閉了Memcache的寫入功能，之前這個部份並沒有錯誤，不知道為什麼要這麼做。

經過了四個多小時的維修才恢復正常。最後google在論壇上發表的解釋，
Information regarding 2 July 2009 outage

Error Rate爆衝圖

Google App Engine確實是一個很不錯用的服務，之前才發表開始收費加值服務，結果沒多久就遇到有史以來最大的包，掛掉5個多小時，對於GAE的聲譽多少會造成影響，畢竟大家都會對Google的服務抱有較高的期望，而且掛這麼久 叫付費的人情何以堪。論壇上甚至還有人酸說比一般便宜的server hosting還不穩定XD