NSFOCUS

9月份的安全报告,是对下半年的预测,有一部分很诸葛亮。

web-safe
重点关注Web应用漏洞部分
注入和XSS已经不是主要Web漏洞,这一块10月份的时候系统重点整治了一次。“失效的身份认证和会话管理”和“安全配置错误”,会是主要问题,这个预防重于后补,帐号安全网站&用户双管要齐下

DDOS
DDoS不变的话题,买设备?加带宽?
Continue reading

Lessons from eBay

旧日文章,而且好像10年的架构师会有讲,最近公司比较忙,就简单的对比写一下。半总结性质,很多经验以过来者身份告诉大家有用,具体看怎么执行。

功能分割
已经做了不少了,但很难彻底干净,这个取决于业务成熟度和系统把握程度,分的不好就是一个蜘蛛网。

水平切分
自己还没亲自参与,但社区贴已经做过。这个问题的关键一个是分割数据的方案,这个方案的关键点又在于重分割的扩容性。另一个关键点就是散列的数据查询如果解决。
第二个问题是我一直没启动水平切分的原因,目前没有一个很理想的方案支持。

有些是对主键简单取模(ID尾数为1的放到第一 台主机,尾数为二的放到下一台,以此类推),有些是按照ID的区间分割(1-1M、1-2M等等),有些用一个查找表,还有些是综合以上的策略。不过具体的分割方案如何,总的思想是支持数据分割及重分割的基础设施在可伸缩性上远比不支持的优越。

分布式事务
这个坚决不用(说的有点绝对),也是很多新组员对我们系统提过疑问的地方,简单的回答我们对数据一致性要求没那么高(部分系统),CPA理论提供了说明这个问题的理由,算是正名吧。当然我们也采用了一定的技术来保证数据的一直性,比如添加点评等涉及多步操作的。

当然我们也采用了一些技术来帮助系统达到最终的一致性(eventual consistency):周密调整数据库操作的次序、异步恢复事件,以及数据核对(reconciliation)或者集中决算(settlement batches)。具体选择哪种技术要根据特定用例对一致性的需求来决定。

异步策略解耦程序/过程转变为异步流
这个我们可以很自豪,用的非常精彩,将500ms的系统降低到120ms。而且做成了组件方便开发,商户页面就是经典的案例。

异步队列可以将处理任务分摊到较长的时间里,因而起到削峰的作用

虚拟化所有层次
这个运维用的比较多,设备虚拟化以及IP虚拟化都是用的比较多的技术了,不多谈.

使用缓存
用的很多,介绍很多,想说的是这个例子的反面。
没了缓存,系统是跑不起来的,问题还在考虑中。静态化已经在做了,可以缓解一部分对缓存的依赖。

但当你这样做之后,系统就完全离不开缓存了。现在主要系统没办法直接应付全部流量,也就是说网站的可用性取决于缓存能否100%正常运行——潜在的危局。哪怕是例行的操作,比如重新配置缓存资源、把缓存移动到别的机器、冷启动缓存服务器,都有可能引发严重的问题。

原文:Lessons from eBay

WinXP垃圾清理

在物理内存不足的情况下,启动虚拟内存。将EEEPC是在XP系统下的改造过程的核心思想。
为了启用更多的虚拟内存,最先要做的是将硬盘容量扩大。EEEPC很早就使用SSD硬盘,所以从
一般意义来讲,应该会比传统硬盘虚存速度要快。清理磁盘是第一步工作。对于windows系统目录结构很清楚所以处理起这个问题也方便很多。标准的“添加删除程序”,先将一些不必要的程序都卸载了。这一步是最初级的阶段。基本发现这些操作能解决20%的容量问题。继续寻找其他占用空间的区域

C:\Program Files 目录1
C:\Documnets and Settings\All Users 目录2
C:\Documnets and Settings\Administrator(我的当前登录用户,一般都是用那个这个帐号)目录3

目录1的清理很方便,一般如果软件正常卸载也不会有多少残余的数量在这里,但还是需要手动清理一下

目录2和目录3其实也一样,只是对应的用户层次不同。具体还好看目录3
C:\Documents and Settings\Administrator\Local Settings
C:\Documents and Settings\Administrator\Application Data
这两个是文件大头,第一个很多临时文件,包括浏览器的临时文件,已经软件更新等残余都在这里。卸载软件的时候有些不会删除这里,所以务必要整理一下。能省出不少空间
第二个目录很奇怪,很多软件的应用在program出现了,在这里也出现了。不知道是我系统多次安装造成还是什么原因。不用的软件业一并清楚哦吧。经过这么一顿整理,省出了1G的空间效果显著

在附赠自动清理系统垃圾的Bat,亦可学习使用

@echo off
echo 正在清除系统垃圾文件,请稍等......
del /f /s /q %systemdrive%\*.tmp
del /f /s /q %systemdrive%\*._mp
del /f /s /q %systemdrive%\*.log
del /f /s /q %systemdrive%\*.gid
del /f /s /q %systemdrive%\*.chk
del /f /s /q %systemdrive%\*.old
del /f /s /q %systemdrive%\recycled\*.*
del /f /s /q %windir%\*.bak
del /f /s /q %windir%\prefetch\*.*
rd /s /q %windir%\temp & md %windir%\temp
del /f /q %userprofile%\cookies\*.*
del /f /q %userprofile%\recent\*.*
del /f /s /q "%userprofile%\Local Settings\Temporary Internet Files\*.*"
del /f /s /q "%userprofile%\Local Settings\Temp\*.*"
del /f /s /q "%userprofile%\recent\*.*"
echo 清除系统垃圾完成!
echo. & pause

Front

已经找不到原创的地址了,不过一直收藏这些内容。对于“网页美”自己其实真正是从字体开始的,虽然懒的一般都使用默认字体,但无论如何技术都应该是门艺术活,这样才会有价值,这样才能超值。而对于计算机艺术,我们需要投入的“美学”,其实就是人对事物的追求,也应该成为工作的要求。
Continue reading

Optimizely

前段时间在研究的内容,主要是方便做A/BTest。比较欣赏这个很有创意的做法。估计不久的将来Google要收购他们的,用于改善GA的A/B测试是非常方便的事情。这个工具给了我很多的启示。不管是技术还是产品,正如乔布斯的硬件和软件,如果未来是一体发挥的功效就更大了。仅仅是位置的距离也只是管理上能看到的距离而已。如何改善,如何推进再思考再思考。将研究的内容整理如下,愿者自取。

Optimizely介绍
Optimizely入门指南

windows远程桌面

Home网络服务器一台还是决定使用Windows XP做为服务机器部署,原因懒的重装是说法之一。毕竟还有Windows服务需求在这个平台下部署。

MSTSC命令的使用
为了体现牛叉的地方这些命令行还是需要记忆的,装逼和非装就在那么瞬间。完整的英文全称“Microsoft Telnet Screen Control”

WinXP自定登陆
实在是无赖之举,默认情况下不设置密码不安全。设置了密码又必须安全密码登陆。其实我的要求是设置了密码,但希望这个账号local的时候自动登陆。

单击“开始 → 运行”,输入“control userpasswords2”命令

远程桌面关机
这个设置MS考虑的很周全,默认情况的确应该出现是“注销”和“断开”,但目前我的状况是想关闭服务器,现在终于明白网络唤醒的作用了。

    • 桌面->Alt+F4
    • 命令行,可以创建bat文件来完成
shutdown -s -f -t 0(关闭)
shutdown -r -f -t 0(重启)

显示Administrator账户
当你设置了其他账户时,默认情况下不显示Admin账户,但为了方便使用,如何显示呢:

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion
\Winlogon\SpecialAccounts\UserList]将Administrator的值改为“1”

未解决

      远程桌面自动注销
      Winxp密码共享

仰观Java时代淘宝

2012年4月的淘宝相关数据:

  • 80多个CDN分布节点
  • 最大的Hadoop分布式集群,每日新增50TB数据,有40PB海量数据
  • 淘宝网光棍节当天网络的流量最高达800Gbps

TB经历了一个主动和被动的技术变革的过程,不管我们是否需要认可“变化”。

典型的个人网站

DP网的发展史走过时曾相似的道路

三个开发工程师(虚竹、三丰、多隆)、一个UED(二当家)、三个运营(小宝、阿珂、破天)、一个经理(财神)、还有就是马云和他的秘书

淘宝的第一份代码 PHPAuction 2000美金(含源代码)

 

淘宝最早的结构

欣赏外观


最高每日31万PV,2003从5月到年底成交额4000万

淘宝第一个版本的系统里面已经包含了商品发布、管理、搜索、商品详情、出价购买、评价投诉、我的淘宝这些功能(现在主流程中也是这些模块。在2003年10月增加了一个功能节点:“安全交易”,这个是支付宝的雏形)

服务器由最初的一台变成了三台,一台负责发送email、一台负责运行数据库、一台负责运行webApp,采购了NetApp服务器放置iSearch

Oracle/支付宝/旺旺

mysql->Oracle
PHP的Oracle的链接池问题,多隆寻找到开源方案

NAS的NFS(Network File System)协议传输的延迟很严重,SAN低端存储,性能一下子提升了10几倍
好的架构是进化来的,不是设计来的

2003年10月,淘宝网上面上线了一个功能,叫做“安全交易”
好的功能也是进化来的,不是设计来的

2004年3月开始 阿里旺旺上线,解决了用户讨价还价的需求,是从阿里借调过来的产物,可见马云在资源的使用上有独到之处。

Java时代:脱胎换骨

2004年底 迁移到JAVA的架构图

其实在任何时候,开发语言本身都不是系统的瓶颈,业务带来的压力更多的是压到了数据和存储上。上面一篇也说到,MySQL撑不住了之后换Oracle,Oracle的存储一开始在本机上,后来在NAS上,NAS撑不住了用EMC的SAN存储,再然后Oracle的RAC撑不住了,数据的存储方面就不得不考虑使用小型机了。在2004年的夏天,DBA七公、测试工程师郭芙和架构师行癫,踏上了去北京测试小型机的道路。他们带着小型机回来的时候,我们像欢迎领袖一样的欢迎他们,因为那个是我们最值钱的设备了,价格表上的数字吓死人。小型机买回来之后我们争相合影,然后Oracle就跑在了小型机上,存储方面从EMC低端cx存储到Sun oem hds高端存储,再到EMC dmx高端存储,一级一级的往上跳。

行癫在淘宝的第一个架构上的作品就来解决了这个问题,他写了一个数据库路由的框架DBRoute

在05年的时候,把商品详情放在数据库的另外一张表里面,再往后这个大字段被从数据库里面请了出来,这也让数据库再一次感激涕零。

TFS

淘宝网整体流量中,图片的访问流量要占到90%以上。且这些图片平均大小为17.45KB,小于8K的图片占整体图片数量61%,占整体系统容量的11%。

2007年之前的图片存储架构如下图:

TFS的架构,类似google的GFS

360安全卫士

卸载了一直使用的mcafee杀毒软件。麦咖啡针对个人免费,这也是我一直使用的原因,但国产360的进步已不需要太多的证明。有时候还是相信一种直觉,一种能让你感知的进步。再团队建设的中,我也深信这点。如果你无法感知,那么你就无法进步。

QQ盗贼
QQ模拟

可疑病毒
病毒文件