又拍云存储负责人沈志华谈又拍云技术架构

龙头 管理员 2012-8-31 01:59:56 显示全部楼层 阅读模式 来自: 中国海南海口
打印 上一主题 下一主题

主题 帖子 积分 132万

又拍云存储负责人沈志华谈又拍云技术架构
作者 贾国清 发布于 2012年5月8日
领域 运维 & 基础架构, 架构 & 设计, 语言 & 开发 主题 云存储 , 云计算 , upyun
分享到         
InfoQ:请先做下自我介绍并简单描述下目前主要从事的工作?

沈志华:您好,我是又拍云存储项目负责人,沈志华,目前主要负责又拍云存储的产品规划及技术架构设计的工作。又拍云存储为用户做的都是非常基础性的工作,主要是海量文件存储、存储文件在全国各地的高速访问(CDN)、图片的各种版本调用(缩略图),这些工作都是最基础的技术开发工作,每家互联网公司的开发人员都在重复不停的投入研发精力和大量的服务器硬件铺设,通过又拍云存储,我们可以将这些技术研发和大量的服务器投入共享给所有互联网网站,让其他公司不需要重复不停的制造同一个轮子。
InfoQ:请简单介绍下又拍云存储的技术架构,以及使用到的技术?

沈志华:又拍云存储架构采用各地方缓存节点、核心缓存层、中心数据机房,3层结构部署,前端智能DNS调度用户到该用户访问最快的节点,地方缓存节点会保持连接2个核心缓存机房做负载均衡及相互备用,避免单路网络问题,核心缓存机房通过多条线路互备到数据机房读取文件。在整个云存储系统中,采用了比较多的开源技术,主要开发语言有:C、PHP、Erlang、Python,用的比较多的开源产品有:Nginx、GraphicsMagick、MySQL、Memcached、Hadoop、Redis、Squid、Heartbeat、IPVS BIND。
InfoQ:在安全性方面,又拍云通过哪些策略或技术手段来保证托管的图片的保密性的?

沈志华:针对互联网站图片存储的实际需求和特性,在安全性方面做了比较多的工作,

文件操作接口和文件读取接口(只读,无操作权限)分离,客户网站用户只能访问读取接口,文件操作接口只对客户开放,需凭客户密钥授权操作。并且,文件读取接口可以单独设置关闭。
帐号系统分离,空间管理员可设多个操作员帐号给不同部门或项目组的人员,并且权限分离,空间管理员只有空间设置权限,无文件操作权限。操作员只有授权空间的文件操作权限,无空间设置权限。最大程度分离帐号的权限。
很多网站会允许用户浏览处理过的缩略图,但不允许或需要授权用户才能下载此图片的原图,又拍云存储有原图Secret功能,每个图片原图都可以设置Secret key。
Token防盗链,用户可以给每个Url生成Token签名,也就是只有获得网站允许授权的用户才能访问这个图片,并且该授权还可以设置过期时间,精确到秒。
InfoQ:在速度上,是如何保证图片的快速存储和读取的?

沈志华:

不同于传统CDN服务源站在各地各个机房,又拍云存储源站分布在CDN网络核心机房,在回源这条回路上做了最大优化,保证快速读取。
国内网络环境非常复杂,今天通畅的网络没法保证明天还是这么通畅,为了适应复杂的网络变化,又拍云存储有专门的技术人员,结合自身及第3方的各地速度监控系统,不断更新速度表格,将用户优化到访问最快的机房。
每个缓存节点投入更多的资源,目前所有节点的部署的缓存容量规模均在10T以上,保障客户文件能长期缓存在各地节点。
缓存节点机房服务器集群做LVS4层负载,7层Nginx进行一致性Hash提高缓存命中率,冷热文件调度将热门文件调度到SSD存储。
开发者可采用直传API,让用户通过云存储网络直接上传到云存储,而不需要经过用户服务器,存储速度更快。
InfoQ:在建设阶段,遇到的主要挑战有哪些?

沈志华:又拍云存储之前一直作为又拍社区和又拍图片管家及其他少数几个网站的基础存储层提供,系统架构、功能开发在摸索升级过程中逐渐定型,并开放提供给所有互联网网站使用。最大的挑战莫过于从文件存储、网络加速、图片处理群,各个环节在日常运行、扩容升级、系统升级时刻保证整个云存储的稳定运行。
InfoQ:又拍云存储是云存储的一个实例,例如Dropbox,Google Drive等,您认为在云存储上,最重要的应该具备的3个特性有哪些?

沈志华:又拍云存储主要定位是为各个互联网网站项目服务,跟Dropbox和Google Drive的面向个人和企业的文件存储及共享定位上有所区别。 但最最重要的特性是相同的,安全、稳定、速度。
InfoQ:又拍云下一步有哪些规划,是否考虑开放其他API?

沈志华:又拍云接下来在海量小文件存储及网络高速分发访问、图片标准处理这3项基础工作上会继续深耕,让更多的互联网公司解放这一块的技术运维精力投入。
InfoQ:您认为基于又拍云的接口或服务,目前有哪些优秀的案例,在未来还会出现哪些创意的应用?

沈志华:通过又拍云服务,减少了大量的基础工作研发,专于自己的产品业务,降低互联网企业做规模产品的门槛。比较典型的案例iWeekly周末画报,所有图片存储在又拍云上,从2010年发布iOS客户端到读者突破百万,带宽从几十M到几G,一直专注于产品业务的优化,未受服务器和带宽资源紧张分担精力,甚至没有配备专职的系统工程师。未来一些小而精的产品团队,会不断的开发出上规模的应用,如:花瓣、堆糖、Markzhi、驴评网等。
您的赏识是我莫大的荣幸!
回复

使用道具 举报

0 个回复

倒序浏览

相关阅读

快速回复 返回顶部 返回列表