阿里云日志服务(阿里云日志服务sls)

本文目录：

• 1、阿里云日志服务查询记录
• 2、如何在阿里云容器服务中使用日志服务
• 3、阿里云日志能取到ip吗
• 4、赵弘扬：阿里云Elasticsearch技术演进之路
• 5、阿里云是什么东西？普通用户能干嘛用的
• 6、新功能：阿里云反爬虫管理利器！

阿里云日志服务查询记录

*|

select

coalesce(max(data),0) as data

from (

select

date_trunc(‘minute’, __time__) as dt, sum(request_length)/60.0 as data

from log

group by dt

order by data desc

limit 3)

取每秒data的最大值 无data值则默认取0

COALESCE表达式用于返回多个表达式中第一个非null的值。

*|select compare(data, 86400) as diff from (select coalesce(max(data),0) as data from (select date_trunc(‘minute’, __time__) as dt, sum(request_length)/60.0 as data from log group by dt order by data desc limit 3))

[12657.483333333334,8549.75,1.4804506954394379]

compare函数用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果

如何在阿里云容器服务中使用日志服务

小鸟云服务器niaoyun实例创建好之后，您可以使用以下任意一种方式登录服务器：

远程桌面连接(MicrosoftTerminalServicesClient,MSTSC)：采用这种方式登录，请确保实例能访问公网。如果在创建实例时没有购买带宽，则不能使用远程桌面连接。

管理终端VNC：无论您在创建实例时是否购买了带宽，只要您本地有网页浏览器，都可以通过管理控制台的管理终端登录实例。

使用远程桌面连接(MSTSC)登录实例

打开开始菜单远程桌面连接，或在开始菜单搜索中输入mstsc。也可以使用快捷键Win+R来启动运行窗口，输入mstsc后回车启动远程桌面连接。

在远程桌面连接对话框中，输入实例的公网IP地址。单击显示选项。

输入用户名，如小鸟云默认为niaoyun。单击允许我保存凭据，然后单击连接。这样以后登录就不需要手动输入密码了。

阿里云日志能取到ip吗

阿里云日志可以取到ip的。

使用7层负载均衡之后最终realserver的访问都是由proxy发起的，所以日志中记录的访问IP都是proxy的IP，这时候如果想获取真实IP，阿里云官方提供了使用 http_realip_module或者mod_rpaf来获取真实IP（这种办法除了可以获取IP记录到日志中，还可以禁止特定IP访问站点），这种方法有个弊病就是需要配置文件里面把proxy的请求IP全写进去，而且如果SLB的服务器集群扩容，而你不知道，那么很可惜扩容的服务器发起的请求，在您的日志中记录的都是他的服务器IP而不是访客的ip。

赵弘扬：阿里云Elasticsearch技术演进之路

导读： 全文将围绕以下三方面内容介绍阿里云Elasticsearch技术。

01

阿里云Elasticsearch业务

1. 业务规模

阿里云Elasticsearch业务（简称ES），从2017年至今已经服务了几千个客户，数据规模达20PB，在公共云上拥有10000+集群，10W+节点规模，是一个成熟的云原生服务。

2. Elasticsearch在日志场景通常会遇到的问题

在企业的数字化转型过程中会生成大量日志数据，企业通过Elasticsearch满足日志检索、存储、归档审计的需求，而这些需求归根结底都会落到成本的增加，体现在以下三个方面：

3. 风险解读

在正常情况下，流量到ES协调节点，然后将数据写入Data Node；当流量变成正常情况的10倍时，对ES集群的压力就变得很大，一系列问题会接踵而来。

这种情况可以通过集群扩容的方式进行缓解，但扩容的同时又会产生新的问题：

① 稳定性风险

② 运维复杂度风险

③ 成本风险

—

02

阿里云Elasticsearch日志Serverless服务

1. 日志Serverless服务能力解读

基于上述问题和风险，阿里云引入了 两个新功能 ：

① Indexing Service

Indexing Service是一个超大的ES集群阵列，专做Indexing Build，每个客户可灵活使用， 它具有以下特性：

图中灰色虚线内是用户的ES集群，当流量洪峰到来时，用户可以将流量转发至Indexing Service的SLB中进行build index，然后通过segment merge的方式，回到用户ES集群的Data Node。这样通过外部的云上弹性服务，减轻了用户ES集群压力，实现秒级弹性扩缩容的需求。

② 智能海量存储引擎

2. 日志Serverless服务价值解读

① Serverless日志写入服务：Indexing Service

通过读写分离架构，ES集群的数据写入在云端服务进行托管加速，为用户实例和云端服务搭建桥梁，依托云端弹性计算能力，突破本地集群的物理资源限制。

对比开源ELK生态：

② Serverless日志存储服务：智能海量存储引擎

基于计算存储分离架构及多层存储介质混合，提供可靠的海量弹性低成本存储并保证查询性能，无须提前预留集群存储容量，根据实际数据的存储量按量计费。

3. Elasticsearch日志Serverless服务发布

全球范围内首个在云上提供Serverless能力的云原生Elasticsearch服务， 其核心价值体现在三个方面：

4. 真实案例收益

①客户场景描述

汽车 行业的IT系统，大多是分批建设，技术架构及系统复杂有 历史 包袱，IDC、多云架构比较普遍。新兴的业务部门，一方面需要满足政策合规要求，一方面希望对整体日志数据进行价值挖掘，通常会遇到如下问题：

②方案构架及价值点

—

03

阿里云Elasticsearch技术演进之路

阿里云Elasticsearch技术演进图

Elasticsearch未来的发展会继续在云原生Serverless上进行演进和迭代，在日志场景下优化成本，通过服务化的能力提升日志场景中的ES产品的易用性，帮助客户解决日志场景下前置日志链路上的问题。

同时，与ES社区就Elasticsearch TSDB时序引擎进行共建，相信很快可以在未来的ES新版本中推出TSDB能力。

今天的分享就到这里，谢谢大家。

分享嘉宾：赵弘扬 阿里云 高级产品专家

出品平台：DataFunTalk

01/ 分享嘉宾

02/ 报名看直播 免费领PPT

04/ 关于我们

欢迎转载分享评论，转载请私信。

阿里云是什么东西？普通用户能干嘛用的

阿里云是全球领先的云计算及人工智能科技公司，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。

普通用户通过阿里云可以：

1、使用人脸识别：提供图像和视频帧中人脸分析的在线服务，包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块。

2、使用印刷文字识别：将图片中的文字识别出来，包括身份证文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景。

3、使用日志服务：针对日志收集、存储、查询和分析的服务。

扩展资料：

阿里云的特点：

1、阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业，包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。

2、在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行纪录。

参考资料来源：百度百科-阿里云

新功能：阿里云反爬虫管理利器！

背景

爬虫形势

Web安全形势一直不容乐观, 根据 Globaldots的2018年机器人报告 , 爬虫占据Web流量的42%左右.

为什么要反爬

防资源过度消耗

大量的机器人访问网站, 设想你的网站有42%的流量都不是真的人访问的. 相当一部分还会大量占用后台的网络带宽, 服务器计算, 存储资源.

防黄牛党

航空公司占座: 黄牛党利用恶意爬虫遍历航空公司的低价票，同时批量发起机器请求进行占座，导致航班座位资源被持续占用产生浪费，最终引发航班空座率高对航空公司造成业务损失，并且损害正常用户的利益。

防薅羊毛党

黄牛党在电商活动时针对有限的高价值商品的限时秒杀、优惠活动等可牟利场景，批量发起机器请求来模拟正常的交易，再将商品、资源进行倒卖从中赚取差价，导致电商企业的营销资源无法触达正常用户，而被黄牛牟取暴利。

防黑客

核心接口被刷: 登录、注册、短信等业务环节作为业务中的关键节点，相关接口往往会被黑客利用，为后续的欺诈行为作准备。

私信菜鸟007即可获取数十套PDF！

为什么需要日志分析

找出隐藏更深的机器人

爬虫与反爬虫是一个攻与防的过程, 根据前述报告, 高级机器人占据了74%的比例(剩余是比较简单的机器人), 而根据 FileEye M-Trends 2018报告 ，企业组织的攻击从发生到被发现，一般经过了多达101天，其中亚太地区问题更为严重，一般网络攻击被发现是在近498（超过16个月）之后。有了日志才能更好的找出隐藏很深的坏机器人.

了解机器人并区分对待

爬虫也分好与坏, 搜索引擎来查询, 才可以达到SEO效果并带来更多有价值的访问. 通过日志可以帮助管理员更好的区分哪些是好的机器人, 并依据做出更加适合自己的反爬配置.

保留报案证据

发现非法攻击的机器人, 可以保留攻击者信息与路径, 作为报警的重要证据.

增强运维效率

基于日志可以发现异常, 并能快速报警并采取行动.

更多附加功能

依托日志服务的其他功能, 可以发挥日志的更大价值.

阿里云反爬管理 – 实时日志分析概述

阿里云反爬管理

云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。 产品提供从Web、App到API接口的一整套全面的恶意Bot防护解决方案，避免某一环节防护薄弱导致的安全短板。

阿里云日志服务

阿里云的日志服务（log service）是针对日志类数据的一站式服务，无需开发就能快捷完成海量日志数据的采集、消费、投递以及查询分析等功能，提升运维、运营效率。日志服务主要包括 实时采集与消费、数据投递、查询与实时分析 等功能，适用于从实时监控到数据仓库的各种开发、运维、运营与安全场景：

目前，阿里云WAF与日志服务打通，对外开发Web访问与攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

发布地域

适用客户

功能优势

反爬日志实时查询分析服务具有以下功能优势：

开通前提

限制说明

反爬管理所存储的日志库属于专属的日志库，有如下限制：

使用场景

1.追踪机器人爬取与封禁日志，溯源安全威胁：

查看Top 100的爬取机器人列表:

2. 实时正常可信Web请求活动，洞察状态与趋势：

查看PV/UV访问趋势的SQL:

3. 快速了解安全运营效率，即时反馈处理：

查看有效请求与拦截率趋势的SQL:

4. 输出安全网络日志到自建数据与计算中心

进一步参考

我们会陆续发布WAF安全日志分析的最佳时间, 这里可以进一步参考相关用户手册：

【阿里云日志服务】的内容来源于互联网，如引用不当，请联系我们修改。