2009-07-03

Google App Engine 故障出包

昨天晚上(2009/07/02)的時候Google App Engine開始變得不穩,一開始是偶發的datastore寫入錯誤,加上讀取速度變慢,後來datastore的寫入完全無法使用,讀取則是偶爾出錯(Error: An error occurred for the API request datastore_v3.Get()),我第一次遇到這種持續完全不能用的情形,過去也曾有遇過偶發性的問題 不過通常都只會出現一下下

  File "/base/python_lib/versions/1/google/appengine/ext/db/__init__.py", line 696, in put
    return datastore.Put(self._entity)
  File "/base/python_lib/versions/1/google/appengine/api/datastore.py", line 166, in Put
    raise _ToDatastoreError(err)
  File "/base/python_lib/versions/1/google/appengine/api/datastore.py", line 2055, in _ToDatastoreError
    raise errors[err.application_error](err.error_detail)
Timeout

甚至連管理後台(http://appengine.google.com)也整個掛掉,沒多久之後Google就立刻將datastore寫入和上傳程式碼的功能關閉,進入維修

CapabilityDisabledError: Datastore writes are temporarily disabled.

另外還關閉了Memcache的寫入功能,之前這個部份並沒有錯誤,不知道為什麼要這麼做。

經過了四個多小時的維修才恢復正常。最後google在論壇上發表的解釋,
Information regarding 2 July 2009 outage

Error Rate爆衝圖

Google App Engine確實是一個很不錯用的服務,之前才發表開始收費加值服務,結果沒多久就遇到有史以來最大的包,掛掉5個多小時,對於GAE的聲譽多少會造成影響,畢竟大家都會對Google的服務抱有較高的期望,而且掛這麼久 叫付費的人情何以堪。論壇上甚至還有人酸說比一般便宜的server hosting還不穩定XD