爱吱声

标题: 问题：如何从数据里估算普瓦松分布的均值？ [打印本页]
作者: 晨枫    时间: 2019-2-4 11:38
标题: 问题：如何从数据里估算普瓦松分布的均值？
本帖最后由 晨枫 于 2019-2-3 22:42 编辑
+ W) \; M0 R4 U" m" l4 \3 Y# s2 D+ N
一般估算均值是简单的算术平均，但我的问题比较特别，其实都不是统计问题。  `! }8 `8 P- D

( r. g' \3 j( n0 g8 L是这样的，我有一个吸收塔，从塔顶到塔底有一个温度分布，形状大体像普瓦松分布：
, I0 ~( \8 j$ K8 a: Y+ m4 A# \' R) J

1 j, ~) |- ?3 q0 n9 Q2 M9 R' A0 u9 b0 b/ [
我要估算峰值出现在哪块塔板，所以想到用统计的办法。实际上，统计里这是概率密度，曲线高低代表在这一点的采样“数量”，但我在每一个点只有一个数据点。说到底，我就是要拟合一个“钟形曲线”，然后找峰值所在点。相当于上图中红线（或者lambda=2）里横轴1-2之间的位置。
3 C% w' @& j% d* |
. I: ?# r: m: C) _/ U4 r正态分布有现成的计算办法，但这样的“扭曲正态分布”或者普瓦松分布有什么简单办法吗？我需要能在DCS上实现，所以不能用太复杂的离线算法。- J: M: Y& x/ E- E* t

9 @! e3 C: h# [$ \爱坛里博士多如狗，教授满地走，想象起来，或许有谁在工作中碰到过类似的问题？
作者: 晨枫    时间: 2019-2-4 12:30
没人理我？都在忙着吃年夜饭？: Z2 ?% [( m) W' ]2 ^. l

5 S" m" }9 c+ w* v7 h, i# |@煮酒正熟 @holycow @tanis @关中农民 @老马丁 @Dracula
作者: holycow    时间: 2019-2-4 12:43
泊松分布？我还是没理解你釆样拿到了哪些数据点
作者: 松叶牡丹    时间: 2019-2-4 12:45
没怎么看明白题目，您是说已知y值，要求对应正态分布？
作者: 晨枫    时间: 2019-2-4 12:46
holycow 发表于 2019-2-3 22:437 B0 c' r& e; a5 B9 z7 X9 {
泊松分布？我还是没理解你釆样拿到了哪些数据点

$ i0 |: M, d% D3 S& ?: d是我描述得不好。再来一遍。* M  i/ X5 \. G6 w/ q

! Q) }8 q  f, ?2 H我有一条样子像泊松分布的温度分布曲线，但只有几个稀疏的点，想用类似泊松分布的曲线内插，然后计算峰值所在的横坐标点。' z3 R8 `6 ^: P% i
' w' \  `- z% T+ g) O+ y/ S" g
这要用于在线计算，不能搞非线性最小二乘之类的复杂算法。
" G. A; y, t2 H7 f' l5 i6 V4 c" k7 M# }
怎么弄？
作者: 晨枫    时间: 2019-2-4 12:47
本帖最后由 晨枫 于 2019-2-3 22:48 编辑
2 `& D- z% x8 U6 X2 a# }
松叶牡丹 发表于 2019-2-3 22:45
, @1 g' `& t7 Y没怎么看明白题目，您是说已知y值，要求对应正态分布？

/ V2 e8 h8 |: ]8 z4 X7 e8 k) d+ m( R2 @# `) M- D
抱歉抱歉，差不多就是这个意思，不过不是传统的对称正态分布，而是歪向一边的skewed normal distribution，请见5楼，不知道是否描述清楚一点？
作者: 晨枫    时间: 2019-2-4 12:50
松叶牡丹 发表于 2019-2-3 22:456 D) y' }  H! ~( z: k8 j" w/ s
没怎么看明白题目，您是说已知y值，要求对应正态分布？

; z6 n  v# B; y4 X; L) ~如果太麻烦，最后可能也就用对称的正态分布近似了。反正都是近似……
作者: 松叶牡丹    时间: 2019-2-4 12:52
晨枫 发表于 2019-2-4 12:50
8 L# o/ a$ A% t如果太麻烦，最后可能也就用对称的正态分布近似了。反正都是近似…… ...
0 A* P1 ]& ~; D' u3 @* L: c# d! L7 y
如果精度不要求很高的话，不知道查表法的精度能不能达到要求。那个倒是最快。
作者: 煮酒正熟    时间: 2019-2-4 12:58
统计学我只明白最最基本的，泊松分布也理解不深。问几个傻问题吧：一共多少块塔板？为什么每块塔板只能取到一个data point? 我猜是取样也有成本问题？那样儿的话，您知不知道每块板上的随机取样，与这块板的温度峰值是不是最接近、比其他板的随机取样更接近本板的峰值？
作者: 晨枫    时间: 2019-2-4 12:59
松叶牡丹 发表于 2019-2-3 22:52/ J6 G' l1 p1 d! _% @/ R
如果精度不要求很高的话，不知道查表法的精度能不能达到要求。那个倒是最快。 ...
! D3 W* l$ V% A: B" I1 T( a! g

3 L5 A$ P4 S; H5 F% o查表再内插，这要做成在线计算还是有点麻烦了？
作者: tanis    时间: 2019-2-4 13:00
晨枫 发表于 2019-2-4 12:46
: T" ^1 f3 S7 l3 h是我描述得不好。再来一遍。/ _; @# {+ ~* `1 {
9 }2 O$ Y' E6 c) `
我有一条样子像泊松分布的温度分布曲线，但只有几个稀疏的点，想用类似泊松 ...
+ K! ^* P9 p* b) h
原来是泊松分布。。。 惭愧，连最小二乘法都属于复杂算法了。。。还真不知道有什么其他的简便方法。这一块早已经还给老师。。。 现在计算能力强大，集成性高，一般直接一个pasfit之类的函数就解决问题了。。。哈哈哈
作者: 松叶牡丹    时间: 2019-2-4 13:00
本帖最后由 松叶牡丹 于 2019-2-4 13:06 编辑
) w4 m- ]" t& k
# @: l" L1 Z2 j% [- `9 d: I做成在线计算器，那就不能查表了，反而太麻烦。坐等观摩高手们过招。
作者: 晨枫    时间: 2019-2-4 13:03
煮酒正熟 发表于 2019-2-3 22:58' _5 D. w0 s4 z$ ]7 }" ^- _
统计学我只明白最最基本的，泊松分布也理解不深。问几个傻问题吧：一共多少块塔板？为什么每块塔板只能取到 ...

( P# u# G2 x! J: a咳咳，这个其实不是统计问题，是从有限的温度测量估计温度分布曲线的问题。吸收塔一共20块塔板，每块塔板只有一个温度测量点，连续测量（每15秒采样一次）。
, W) I9 |/ J2 w: F" _8 C% U+ a: U+ S
这温度分布随工艺条件而变，所以这个峰值和凸起一直在动来动去。目视很容易看出峰值在那里，但要用数值办法实时确定，反而犯难了。
作者: 晨枫    时间: 2019-2-4 13:06
tanis 发表于 2019-2-3 23:008 l+ o( X' n$ }2 x; z) {
原来是泊松分布。。。 惭愧，连最小二乘法都属于复杂算法了。。。还真不知道有什么其他的简便方法。这一 ...
, f- Z5 c6 ~0 I1 @2 z: C
切，我有那东西，还费这个事吗？Matlab、Maple，什么不能上啊！问题是我需要在线计算，而且只有FORTRAN一级的语言从头现编，还不能太耗费CPU时间，耽误了实时控制就偷鸡不成蚀把米了。
作者: 晨枫    时间: 2019-2-4 13:06
松叶牡丹 发表于 2019-2-3 23:00
: ^9 D+ t9 X7 u2 r% }' o做成在线计算器，那就不能查表了，反而太麻烦。坐等观摩高手们过招。
: D) o1 ?7 T. h% H
估计吃完年夜饭，就该忙着数红包了。
作者: tanis    时间: 2019-2-4 13:09
晨枫 发表于 2019-2-4 13:03/ d+ A: n7 g: K5 N
咳咳，这个其实不是统计问题，是从有限的温度测量估计温度分布曲线的问题。吸收塔一共20块塔板，每块塔板 ...
! R# L2 X# ~* ^, U4 R' m" _
目视是指看数据点脑补么？ 所以一共20个数据点（塔板），然后最高温度可能在点之间？ 15s一次，速度很慢啊，为啥不能离线算？ 系统太古老了？+ h/ k7 \  S7 X- F+ \
1 T3 p2 E* r8 D+ V) u
如果是系统太老无法整合还有个鬼畜方法。。。 既然肉眼能看到每个点在哪里，可以用电脑拍照把图截下来，然后从图像里把点的值拿到，接着在电脑里拟合。
作者: tanis    时间: 2019-2-4 13:12
晨枫 发表于 2019-2-4 13:06! X5 H0 [2 I+ I% o
切，我有那东西，还费这个事吗？Matlab、Maple，什么不能上啊！问题是我需要在线计算，而且只有FORTRAN一 ...
% n8 [4 K: _. A3 j9 Y2 h# z# t
找温度第二，第三高的两个点，拟合个直线，取中间的那个位置
作者: 松叶牡丹    时间: 2019-2-4 13:12
晨枫 发表于 2019-2-4 13:06
. {" `" D& @  t& K! E切，我有那东西，还费这个事吗？Matlab、Maple，什么不能上啊！问题是我需要在线计算，而且只有FORTRAN一 ...
8 Q  A4 w) X* W& S6 n) G2 w8 f
您是说每块塔板都是15秒测量一次，所以每15秒要同时给出20个塔板的20个正态分布式子？
作者: 晨枫    时间: 2019-2-4 13:18
tanis 发表于 2019-2-3 23:097 ^8 B: H. l# J
目视是指看数据点脑补么？ 所以一共20个数据点（塔板），然后最高温度可能在点之间？ 15s一次，速度很慢 ...
+ d; J9 s8 U; U: F
正是：看数据点然后脑补。人工就是这么干的。但操作工要照管的事情太多，一会儿不看，可能就错过了，就可能坏事。4 U  n/ S+ h9 |5 ^

. L% D( I' Y$ _3 @化工上DCS的采样分基本回路和先进回路，前者一般每秒一次，甚至1/4秒一次，后者每15、30、60秒一次就够了。过程时间常数动辄几十分钟，太快的采样没必要。另一方面，CPU的速度（还是Morotola 68040）和网络带宽（4 megabits 烹per second）有限，不宜太快，还要扫描几百、几千个回路，不宜太快。安全连锁回路更快，在毫秒级，但那不用作连续控制，两回事。
# o% |7 O. n* |) {5 {
0 ~4 _9 M5 f/ c) c工控级的CPU和网络都用特别成熟（翻译：特别古老）的技术，和实验室、离线是两回事。
+ k3 ]6 m( w( m5 N# q: S  v
3 q* ]2 S4 M- j; W3 O2 Z1 o9 a; n* k在线计算是因为我要把这个峰值点用到控制回路里。拍照、图像识别、离线拟合，这绕的弯子太大，中间节点太多，可靠性根本靠不住，哪里打一个嗝，就可能造成process upset，就是几十万、上百万的损失，那就划不来了。
作者: 晨枫    时间: 2019-2-4 13:21
松叶牡丹 发表于 2019-2-3 23:12
6 u* I/ M8 t) K6 w. }( d您是说每块塔板都是15秒测量一次，所以每15秒要同时给出20个塔板的20个正态分布式子？ ...

' |+ w8 o4 ?0 n+ P每15秒要对20块塔板的温度拟合一条样子像正态分布的曲线。15秒只是计算间隔，每次实际计算其实只有毫秒级的窗口，因为同一个CPU还要分时管好多别的事呢。
作者: 松叶牡丹    时间: 2019-2-4 13:21
本帖最后由 松叶牡丹 于 2019-2-4 13:23 编辑 3 {* a* Z' U9 t5 s
晨枫 发表于 2019-2-4 13:18: N' [* z: ]% H4 e4 D- u1 a1 o! g
正是：看数据点然后脑补。人工就是这么干的。但操作工要照管的事情太多，一会儿不看，可能就错过了，就可 ...

7 ]: a$ _% o$ c1 c; y; J8 r3 _1 q: O# r. H5 i3 J+ ?
降低精度，把一系列正态分布离散化为有限几个histogram，每次测试点先第一步进行范围判断，然后归到不同的histogram里面。再反向把histogram变换为对应的大致正态分布，这样可行吗？
作者: 晨枫    时间: 2019-2-4 13:23
tanis 发表于 2019-2-3 23:121 e4 ?( ]4 Z* M$ P
找温度第二，第三高的两个点，拟合个直线，取中间的那个位置

; X* x( i$ Q) H2 ?塔板是等间距分布的，这样我还不如直接取温度最高的那一块了
作者: tanis    时间: 2019-2-4 13:27
晨枫 发表于 2019-2-4 13:23
1 I* p" u$ B$ n) `' i1 x5 Z( }塔板是等间距分布的，这样我还不如直接取温度最高的那一块了

; y: ?8 q0 Y! H1 q- H* ]哦哦。。。 那就取最高和第二个的中间位置 有人工干预的时候就用人工，人忘了看就用这个。。。
作者: 晨枫    时间: 2019-2-4 13:28
松叶牡丹 发表于 2019-2-3 23:21
' ?/ c8 C+ j' n* {* `/ s降低精度，把一系列正态分布离散化为有限几个histogram，每次测试点先第一步进行范围判断，然后归到不同 ...
( z' x. R' J% z8 ]+ y
7 o- I6 Y! g, s. w$ C; E* G; f# U! G( g
一把抓住：我的问题正是从histogram变换为某种分布，最想poison分布或者log normal distribution，不行的话正态分布也行。有什么现成的计算方法吗?
作者: 晨枫    时间: 2019-2-4 13:29
tanis 发表于 2019-2-3 23:27
7 O! X; }' g" O" M: N9 O8 v1 S哦哦。。。 那就取最高和第二个的中间位置 有人工干预的时候就用人工，人忘了看就用这个。。。 ...

/ a' z7 z9 m, q' E$ N" F这也是个办法，总是有点“心有不甘”……
作者: 晨枫    时间: 2019-2-4 13:33
松叶牡丹 发表于 2019-2-3 23:21
/ w$ ]9 \. I% r' D4 x0 J降低精度，把一系列正态分布离散化为有限几个histogram，每次测试点先第一步进行范围判断，然后归到不同 ...
5 }" `" j& j4 t' }5 x* ~9 y
唉，MATLAB里有histfit命令，干的正是我要的，可惜没法“偷”过来用啊
作者: 松叶牡丹    时间: 2019-2-4 13:36
晨枫 发表于 2019-2-4 13:33
- m, @1 d1 u* \# F$ b( |# S唉，MATLAB里有histfit命令，干的正是我要的，可惜没法“偷”过来用啊

5 k: b- [2 e' T' f3 L, }. ]完全不会FORTRAN，这样啊，要不就得自己写算法了？
作者: tanis    时间: 2019-2-4 13:37
晨枫 发表于 2019-2-4 13:33
' x3 [! p2 ~7 r唉，MATLAB里有histfit命令，干的正是我要的，可惜没法“偷”过来用啊

( i* L$ A4 R: S/ `" YMatlab 直接有poissfit啊。。。1 Y+ u1 `' D# T

, g+ ~2 H4 w( y! D我感觉人类脑补的水平估计和取中值也差不了多少了既然连忘了看也只是可能出问题，我脚的中值差不多 ）（缺乏工匠精神的我。。。）& S' \0 D! P3 D6 i: I% G3 m$ \
作者: 晨枫    时间: 2019-2-4 13:40
tanis 发表于 2019-2-3 23:37
  e) {  e( o4 w! q9 d/ }$ pMatlab 直接有poissfit啊。。。5 u* ^, C- y! |4 {

, k4 @. H; B' \* A3 c. i我感觉人类脑补的水平估计和取中值也差不了多少了既然连忘了看也 ...
2 D3 A' A  {6 G1 h
问题是我没法把MATLAB装进DCS里用啊。嗯，如果不行的话，可能也只能内插取中值了。
作者: 松叶牡丹    时间: 2019-2-4 13:41
您这个采样数据如果有之前很长时间的大批量数据的话，要不选一部分建模，建立比如10个distribution式子，用剩下数据validate，看看是不是符合六西格玛质量控制要求？如果不行就提高精度，设20，30或者更多式子？我这是笨办法。
作者: 晨枫    时间: 2019-2-4 13:43
松叶牡丹 发表于 2019-2-3 23:41
  G% d9 e6 `- H1 w) B您这个采样数据如果有之前很长时间的大批量数据的话，要不选一部分建模，建立比如10个distribution式子，用 ...
& ?8 G& I/ D( A1 b, ?, w
这个好像不行？我需要的是实时估计当前的峰值点，历史数据能帮什么忙呢？
作者: gnomegordon    时间: 2019-2-4 13:55
如果问题是拟合若干点的光滑曲线 找到最大值，kernel density 就好，matlab里的histfit 也是基于这个算法。fortran里面library浩若烟海，查查肯定能找到。速度绝对够快，不需要POISSON 假设。; r( B  X# v' ~+ O- G5 f

6 f2 j( ~0 |3 v) v( Y; T2 m( ?试着搜一下，这个fortran code 试试？： https://ideas.repec.org/c/boc/bocode/g00004.html
作者: 松叶牡丹    时间: 2019-2-4 14:07
晨枫 发表于 2019-2-4 13:437 u0 j  X+ E5 b8 d2 Q# K6 c, @
这个好像不行？我需要的是实时估计当前的峰值点，历史数据能帮什么忙呢？ ...

  G& F# ]/ r' l* n历史数据建模自己写算法做验证用。不过如果可以像楼上那位说的可以找到现成library调用，kernel density estimation和 guassian mixture model应该都可以。
作者: 晨枫    时间: 2019-2-4 14:16
gnomegordon 发表于 2019-2-3 23:55$ u8 T2 y, U' A. t+ i
如果问题是拟合若干点的光滑曲线 找到最大值，kernel density 就好，matlab里的histfit 也是基于这个算法。 ...
# \! O5 G2 J0 x1 ]# B
十分感谢！打开看到的是SRC文件，还在找FORTRAN……
作者: 晨枫    时间: 2019-2-4 14:19
松叶牡丹 发表于 2019-2-4 00:076 M8 ^  h' M/ g* _* i$ X- f6 z
历史数据建模自己写算法做验证用。不过如果可以像楼上那位说的可以找到现成library调用，kernel density  ...
) i9 Q! `$ g1 ]$ }: ^. b, |+ y
多谢！这个kernel density以前没有玩过，正在研究中……
作者: Dracula    时间: 2019-2-4 14:24
本帖最后由 Dracula 于 2019-2-4 14:28 编辑 " i4 B! U9 g5 y& ^) X

: w% C+ m6 x# m说实话，你这个题目我没看懂。
9 ]1 f4 Y$ n: H  P4 u7 b5 |+ P1 d# ~( O
但如果你你单纯就是想实现* a5 S% ^' u6 E; ?7 J' b3 F  S* H" h
; a6 J. a0 J9 V7 `1 C9 D8 `; y+ a1 c
我就是要拟合一个“钟形曲线”，然后找峰值所在点。相当于上图中红线（或者lambda=2）里横轴1-2之间的位置。

, J2 Y  z+ x. R2 J5 }& i3 j
% l  N0 d, j# c9 V' u+ j' j其实应该挺容易。假设这个分布是log normal，如果你知道这个分布的参数， μ和 σ，你要想计算峰值（英语是mode），有现成公式，套公式就可以了（公式你可以上网查，比如Wikipedia上就有）。估计这个分布怎么做，我没看懂你的题目，不好说。但既然正态分布你知道能怎么做，log-normal没什么本质区别，就是公式不一样。简单的使用method of moments应该很容易就能推导出公式。实现就是简单的算术计算，不需要什么数值方法。
9 d; Z, c+ W  T9 k; e$ N
: e$ u5 b5 ^( `8 L, ~- Q4 F6 x5 \* |
作者: 晨枫    时间: 2019-2-4 14:34
Dracula 发表于 2019-2-4 00:24
9 S: L( @' f9 L4 n- G0 j1 q说实话，你这个题目我没看懂。
$ l$ A+ d2 }4 D: b( x1 L0 T9 \5 V* ]# v1 z( x  }( _  h
但如果你你单纯就是想实现

6 _  n; N+ F, N/ t有了 μ和 σ想计算峰值就容易了，我的问题是如何从histogram计算log normal的 μ和 σ。看来这也是个办法，把数据log一下，再按normal做。我也想到过这个办法，就是不大确定。明天试试，上班的活儿用下班的时间试，可不划不来嘛。
作者: 松叶牡丹    时间: 2019-2-4 14:35
Dracula 发表于 2019-2-4 14:24$ {& W0 \9 j& w7 ]0 \# O- v( P
说实话，你这个题目我没看懂。
. |/ K; o1 O6 U3 P  u6 {. w: f' a5 @
但如果你你单纯就是想实现
! ^( l# j" l! I2 W+ g- D
看题目意思应该是不知道参数的。
作者: 松叶牡丹    时间: 2019-2-4 14:36
晨枫 发表于 2019-2-4 14:19
- B0 i; L; N# m! L: d多谢！这个kernel density以前没有玩过，正在研究中……
: W& z  m* [8 k
晨大辛苦，您太客气了。祝新年快乐！
作者: gnomegordon    时间: 2019-2-4 14:39
晨枫 发表于 2019-2-4 14:16: z& {' i4 M9 F; o
十分感谢！打开看到的是SRC文件，还在找FORTRAN……

. k: C4 F1 h: u( Napologize. 网上搜code太麻烦，还得验证。最好有本书可以翻翻 或者搜library
作者: Dracula    时间: 2019-2-4 14:40
本帖最后由 Dracula 于 2019-2-4 14:45 编辑 : ^% ]& E5 e& G3 i2 Z
晨枫 发表于 2019-2-4 14:34
9 D5 G& A$ h5 O3 j& U; ?4 K有了 μ和 σ想计算峰值就容易了，我的问题是如何从histogram计算log normal的 μ和 σ。看来这也是个办 ...
$ d$ b* Q4 y0 S/ U& q$ E" g" a
+ \: }1 [2 k+ m5 _4 R6 b
怎么计算分布参数的问题，你的题目我没看明白，不好说，但是正态分布你会做，log-normal 没有任何本质区别，一样的办法，就是数学公式不一样就是的了。应该不难。
7 t# F8 Y: k& r. t6 J, M$ u
# |2 f- e$ u. m" ^6 H6 n
, G7 g, W# s' D+ j0 J（标准的统计学问题，估计log-normal分布参数也是有公式的，你到网上去查个公式就是的了。）1 ]% m# m, G# D0 m8 g

* b  N7 r' v: f
作者: 数值分析    时间: 2019-2-4 14:56
本帖最后由 数值分析 于 2019-2-4 15:05 编辑
2 {4 F/ x+ M. Z0 `* A
% ?6 n% J0 ]* }) l; l  k( k  c- }你应该不用拟合分布函数吧？你只想知道峰值的位置，然后你又知道（或者说你假设）是泊松分布，所以峰值的位置一定是 x=lambda,（这里lambda不一定是整数），那么剩下的就是从样本里推断lambda了，这是个典型的估计啊. 对于泊松分布，lambda正好是期望，所以一般来用样本均值估计期望。/ U, _0 u3 v8 ], i2 K
你给每一个板子从最左边顺序编个号，i=0，1，2，3。。。，然后设每块板子i的对应温度样本值xi，，然后计算sum（i*xi）/n [即累加所有的（板号乘以对应温度）然后除以板数】 （因为你的分布曲线可能和泊松分布差一个常数，所以最后结果得scale一下）不就可以了么？当然，这得假设你的histogram真的得长得像泊松分布分布。
( I% A' N$ |- D$ h6 @% |
作者: 视觉错误    时间: 2019-2-4 17:40
石化行业的DCS应该Honeywell多吧，这年头不支持OPC的很少了。
* `8 M' b( D4 k5 q1 k  D数据送到电脑上算，算了以后在送回去。
作者: 视觉错误    时间: 2019-2-4 18:02
晨枫 发表于 2019-2-4 13:33
& f6 O7 @" `  |- @唉，MATLAB里有histfit命令，干的正是我要的，可惜没法“偷”过来用啊
1 ^$ e# `) J" f/ w" U2 _' Q% w
我记得MATLAB支持OPC
作者: 数值分析    时间: 2019-2-4 18:34
数值分析 发表于 2019-2-4 14:56
  D$ S: J" ]8 B8 D9 q5 |$ I- z+ c你应该不用拟合分布函数吧？你只想知道峰值的位置，然后你又知道（或者说你假设）是泊松分布，所以峰值的位 ...
! W( E  u% f2 H/ g) c; M. s# ^
多解释一句scale那块儿。因为泊松分布曲线下面的面积是1，而你的histogram显然不是，所以你的histogram和泊松分布差一个常数。你求出来的lambda的估计要用你histogram的面积归一一下。
作者: 小刀    时间: 2019-2-4 20:39
可以试试GMM Guassian Mixed Model去拟合统计分布
7 P/ h5 l  n7 U, q
作者: 关中农民    时间: 2019-2-4 21:47
晨枫 发表于 2019-2-4 12:30
6 {& @9 F6 K# s1 m7 O+ I没人理我？都在忙着吃年夜饭？
" n2 V: ^7 g+ \
$ S' B. o2 u5 p* s* y@煮酒正熟 @holycow @tanis @关中农民 @老马丁 @Dracula  ...

8 h! k+ i: `: B1 O- O: O0 [% Y晨大，这得数学博士才中啊，额完全外行了，看见这个只能联想到面条
作者: Dracula    时间: 2019-2-4 22:07
我又看了一下你这个题，终于看明白了。你的问题是一条曲线类似于统计学上Poisson或者log-normal的density function的形状，在这条曲线上你已知坐标是x=1，x=2，... x=20，这20个点的值，你想要知道的是曲线的最大值是在那个点上。不知道我这个理解对不对。
3 \1 w" d4 B$ }% n+ T* F- F
6 A" r5 a2 e- `" q* H+ @  S' x9 Q- L如果我的理解是对的话，这不是个统计学问题。你画的那个也不是histogram，因为histogram的纵坐标是在每个值观测到的sample size，而你的图的纵坐标是温度，不是一回事。因此统计学的书你不用查，查了也没用。解决这个问题最显而易见的办法就是最小二乘法，但应该是没有分析解，你不能用。我好奇的是如果假设假设曲线的形状类似于正态分布的density function，你们是怎么解的，使用最小二乘法应该是一样没有分析解。如果解正态分布有特别的巧妙的办法的话，或许稍微修改一下就可以用到log-normal的情况。; b/ H. i9 c- o0 W' W. \4 N

2 e# o' ~( n7 O6 {
9 f# m  I2 p( M$ f1 |& e+ k0 P0 I% g

. Z: f+ ^& t! m. @+ @! z( g
作者: 晨枫    时间: 2019-2-4 22:17
数值分析 发表于 2019-2-4 00:56
# }; n3 t: ^6 V; J5 }& o( P. j你应该不用拟合分布函数吧？你只想知道峰值的位置，然后你又知道（或者说你假设）是泊松分布，所以峰值的位 ...
3 O8 ~9 Q5 K+ u1 i  e4 O; U, D; ~
这个办法好！回头试一下！我是打算用这个办法当正态分布处理的，没想到也可以相当直接地套到泊松分布。可能这就解决我的问题了！多谢！
作者: 晨枫    时间: 2019-2-4 22:20
Dracula 发表于 2019-2-4 08:075 j" b/ b' T% S5 ]; \+ ]3 d& o
我又看了一下你这个题，终于看明白了。你的问题是一条曲线类似于统计学上Poisson或者log-normal的density f ...
% k. `% i( {4 ^2 s  @
对，就是这个意思。我也提到了，不是统计问题，只是“形似”，想看看统计里有没有现成的办法。楼上42楼就是我一开始想到的办法，但只想到那能用于正态分布，正想改造为对数正态，没想到可以直接套泊松。这就好了。
作者: 晨枫    时间: 2019-2-4 22:21
小刀 发表于 2019-2-4 06:39: j" q% f  E9 D/ {9 _+ R
可以试试GMM Guassian Mixed Model去拟合统计分布

4 }9 `; |- y8 U& o% Q+ l这个还是太复杂了。用在控制回路里，必须KISS。但还是要谢一个！
作者: 晨枫    时间: 2019-2-4 22:23
视觉错误 发表于 2019-2-4 03:40" U- c4 G6 |/ ^+ _6 z4 W
石化行业的DCS应该Honeywell多吧，这年头不支持OPC的很少了。! S6 ]3 q( o8 U2 z' P" d3 m6 L$ J
数据送到电脑上算，算了以后在送回去。 ...
% a# q- v' Y1 Y; v  h
我们有OPC，问题是可靠性。用以下层基本的回路控制一般不用OPC，当机或者“交通堵塞”的后果太大。这是惯例。只有上层的APC可以用OPC，当了就自动shed到基本控制。
作者: 晨枫    时间: 2019-2-4 22:25
视觉错误 发表于 2019-2-4 04:02
- J- u. d* Z2 {0 a! N我记得MATLAB支持OPC
/ i  O$ l) y6 A# u3 u" A" }1 M' Q
是的，我以前还试过用MATLAB C通过OPC与DCS相连，在技术上这是做得到的，但可靠性达不到要求。OPC是不作为可靠的控制信息通道使用的，只能传送点监视数据或者一般数据采集。
作者: 晨枫    时间: 2019-2-4 22:26
gnomegordon 发表于 2019-2-4 00:39
; S/ Y- h( ?* F& M2 D6 d" H: _8 }apologize. 网上搜code太麻烦，还得验证。最好有本书可以翻翻 或者搜library

" L1 c  G; ^# n7 R/ X& G再次感谢。楼下45楼有好办法，我先试试那个办法，比kernel density简单多了。
作者: 晨枫    时间: 2019-2-4 22:26
松叶牡丹 发表于 2019-2-4 00:36
* x- J" V: K: n* H% @6 \晨大辛苦，您太客气了。祝新年快乐！

2 W& v0 ]( A1 w/ a3 q: G1 j. k6 y! E松叶MM新年快乐！
作者: 雨楼    时间: 2019-2-4 22:31
晨枫 发表于 2019-2-3 23:46
6 J' d3 U) k+ T" l. ]  d6 L是我描述得不好。再来一遍。
9 {6 ]. ?& p! s3 b- ~) h( U' _3 U; F
) u7 ~+ s6 o2 I0 l  h% C  _# s1 f我有一条样子像泊松分布的温度分布曲线，但只有几个稀疏的点，想用类似泊松 ...
, ~! B' @4 \+ y" r( F$ j
就是正态分布然后在x轴上平移么？ 类似Y=(X-a)^2.
作者: Dracula    时间: 2019-2-4 22:33
晨枫 发表于 2019-2-4 22:20
. v+ d, ]* X) p7 C  J5 s3 ~+ ^, x对，就是这个意思。我也提到了，不是统计问题，只是“形似”，想看看统计里有没有现成的办法。楼上42楼就 ...
6 C7 G  H8 t1 ~1 n
42楼那个办法不对。那是把这当成个统计学的问题来处理，但这不是个统计学问题。你的纵坐标是温度，不是sample size，不能这么用。最明显的是，那个办法解出来的量纲是温度，而你想要的应该是具体是那块板，因此那个解和你想要的没什么关系。4 E! g9 V/ s0 w+ X8 y+ t

+ a) o! D0 E3 k7 T( b
作者: 晨枫    时间: 2019-2-4 22:35
数值分析 发表于 2019-2-4 04:347 g. v' D+ p: Y
多解释一句scale那块儿。因为泊松分布曲线下面的面积是1，而你的histogram显然不是，所以你的histogram和 ...

" h, e6 ^( c! y% F! ?多谢！记住了！
! n( b' h" @) u5 X1 v( u' k" v; i, b$ Z5 i
其实你说的办法我已经试过。我把正态分布一边的尾巴砍掉，至少外观上接近泊松或者对数正态。只要有峰在，估计出来均值就还不错，越对称越准确，就有点窃喜。但对道理不摸底，不敢放手用。除非在数学上站得住脚，否则在线的时候没人看着，给我乱估一个就完蛋了。现在看来，道理就是你说的，这个办法不只适用于正态分布。曲线只有只有半边的话，就有点悬，这个可以理解。一般到不了这个情况，程序里简单判别一下也不难，另作处理。
作者: 雨楼    时间: 2019-2-4 22:37
晨枫 发表于 2019-2-4 00:03
6 q. J' E1 ^$ {% K咳咳，这个其实不是统计问题，是从有限的温度测量估计温度分布曲线的问题。吸收塔一共20块塔板，每块塔板 ...

6 P! B$ e1 t8 t' M  R& S* @" W& z1. 20个数据点在分布上有没有规律。比如两头低中间高。6 v) _5 u/ F, X5 |1 A' O
2。规律稳定么？
; [+ M/ \" C7 V) [; |7 A! Q. a# H( q3。可不可以简化成20个点里找最大值。
1 }& F" R3 G, L6 }9 v, U/ y% T) C3 u4。峰值如果不在采样点（塔板），而在塔板之间，只能按相邻塔板的问题计算温度曲线斜率，然后插值，而其要比较峰值塔板两侧的斜率，取较大的。
作者: 晨枫    时间: 2019-2-4 22:38
雨楼 发表于 2019-2-4 08:31
$ ~5 E: h+ s& q就是正态分布然后在x轴上平移么？ 类似Y=(X-a)^2.

/ }& t* r, m, B! C9 s2 [差不多。我开始也想过用抛物线然后平移，但平移量本身也要最小二乘出来。可能还是可以线性化然后用简单的最小二乘。我来试试看。
作者: 晨枫    时间: 2019-2-4 22:38
Dracula 发表于 2019-2-4 08:33
4 p3 m& W5 Z* c# r, V42楼那个办法不对。那是把这当成个统计学的问题来处理，但这不是个统计学问题。你的纵坐标是温度，不是sa ...
0 m, ?0 K6 l2 `
嗯，我再想想。谢谢。
作者: 晨枫    时间: 2019-2-4 22:42
雨楼 发表于 2019-2-4 08:37
$ P3 A+ Z+ m$ [3 C1. 20个数据点在分布上有没有规律。比如两头低中间高。
( k6 s- q( k+ R. J3 }% ]* P( C2。规律稳定么？- y: a+ V0 t( `
3。可不可以简化成20个点里找最 ...
( D! M" [( I# B- Z
两头低，中间高，但峰值形状随工艺条件而变，可以从“一头歪”的泊松变到对称的正态，然后继续变到往另一头歪的泊松。选最大值然后插值也是可以的，我就是在想是不是有可以一次性计算出来的，而不需要这样搜索。4 |% K  C/ l0 c- w

  A1 s0 I/ `7 K5 Z1 ?如果42楼的办法最终不行，我可能回过来用你的办法。谢谢！
作者: 视觉错误    时间: 2019-2-4 22:42
晨枫 发表于 2019-2-4 22:25) b2 [' O1 }/ p1 A# g9 |
是的，我以前还试过用MATLAB C通过OPC与DCS相连，在技术上这是做得到的，但可靠性达不到要求。OPC是不作 ...
. G# w6 z0 ~( u$ r3 T9 i: c5 P
这个峰值位置还需要用于控制吗？
9 `3 ?1 r) X9 X& d  h  ~我理解这个峰值位置计算出来也就是用于参考吧。
作者: 晨枫    时间: 2019-2-4 22:44
视觉错误 发表于 2019-2-4 08:42# q' T' u7 Z( {3 U
这个峰值位置还需要用于控制吗？
9 i1 `/ A/ b1 z. e7 s' R$ \我理解这个峰值位置计算出来也就是用于参考吧。 ...

- u# Z  a& j: r# q( ~0 r+ a7 o$ V我就是想用于控制。这对应于吸收塔里放热反应的热点位置，决定了吸收效率。跑得太偏了，要么浪费能源，要么吸收不达标。传统的单点温度控制效果有限，很容易被上下移动的峰值位置所“误导”。
作者: 视觉错误    时间: 2019-2-4 22:45
同意伯爵的看法，本质上是个曲线拟合。0 S$ k4 r9 _& k' g
这个曲线有点像某种分布曲线，晨大强调这个造成误解了。
作者: 晨枫    时间: 2019-2-4 22:46
视觉错误 发表于 2019-2-4 08:45
+ |7 `7 Z  e$ p2 l同意伯爵的看法，本质上是个曲线拟合。
* D' L3 P3 Z  L3 l这个曲线有点像某种分布曲线，晨大强调这个造成误解了。 ...

- v2 O( {* R& p1 h" J( Y抱歉！我还特意提一句，这不是统计问题，但还是误导了。多谢各位指点。我这会儿有很多办法可以试试了！
作者: Dracula    时间: 2019-2-4 22:53
晨枫 发表于 2019-2-4 22:38
' |9 @4 [. f7 ^( ?3 I嗯，我再想想。谢谢。
- A8 U" t2 U' w) R8 e# J3 i
我曾经想过一个和42楼类似的办法。区别是分母不是板数，而是各个板加在一起的温度的和。如果这条曲线真的是个density function，也就是说，曲线下的面积等于1的话，这个办法是可以的。这个办法就是把温度类比成统计学里的sample size来处理了。但是曲线下的面积等于1这个假设肯定不对。我曾经想过把它scale成1就是的了。但问题是你的纵坐标0度的设置应该纯粹是arbitrary的，但是这个0度的设置会直接影响scaling以及最后结果，因此这个办法也不行。# k! u& k; f% E+ f3 G$ G
' y5 c8 a4 r: M1 C1 U! C& P$ v9 C% j
如果想不出数学上的分析解的话，我的建议是你想一想人的直觉是怎么来处理这个问题的。你前面说，人眼一下就能看出来。把人直觉的逻辑想清楚的话，写个if then else的程序实现应该不算很难。" Z" r5 G' E) L, g5 A

  A  O* @9 W+ h: Z
作者: 雨楼    时间: 2019-2-4 23:49
１，　计算最大值，$ \' @7 h9 a7 D
２，　计算左右的斜率
$ p9 L2 Z7 e$ p' f2 B３，　计算左右直线的交点。0 n( P% {4 g0 Y; _  j
４，　由交点根据斜率反推峰值的大概值。这个是quick&dirty的解决办法。想要准确，还得曲线拟合。２阶应该就可以了。过高反而会引入误差。但是拟合的资源消耗可能系统付不起。
: \9 W. f0 o* g2 e1 ?7 o2 D" c* s; n+ |% f& V3 A
http://www.aswetalk.net/bbs/home ... um&picid=102923# I% u: t* ^+ I# f6 s
作者: 晨枫    时间: 2019-2-5 00:01
Dracula 发表于 2019-2-4 08:53
: L# W* o7 V! r7 R5 m5 @我曾经想过一个和42楼类似的办法。区别是分母不是板数，而是各个板加在一起的温度的和。如果这条曲线真的 ...

  b' W* V' g) `- l多谢。接下来我会按42楼办法用实际数据多试试，包括scaling，然后和目视结果比较。如果可靠的话，就能用了。否则还要另想办法，如楼下68楼的。
7 A, ]; u# W% f7 i
$ i3 b. t/ t5 ?* ?模拟人类思维的办法想过，不大好弄。太复杂的IF...THEN容易把自己绕进去。工程上还是要KISS。
: ~# G: `: l. x, l$ x) z0 `' |9 H$ _; d
多谢伯爵帮我想这个问题！
作者: 晨枫    时间: 2019-2-5 00:02
雨楼 发表于 2019-2-4 09:49; I: w1 k% E7 E* O
１，　计算最大值，
' Z# q+ m+ z- X& _! v0 x２，　计算左右的斜率
% W2 ?# |1 V  u9 x6 ~) k３，　计算左右直线的交点。
/ M/ {: Z" ^* F% Y# p) n7 o
这个办法也好！我会试试看。多谢了。
作者: 晨枫    时间: 2019-2-5 00:07
关中农民 发表于 2019-2-4 07:47
; u" i8 {% i! u$ }# B6 t晨大，这得数学博士才中啊，额完全外行了，看见这个只能联想到面条 ...

, r( J1 }/ I8 ]哎，不是想着你们数据处理的问题多嘛，可能有经验。反正还是要谢一个！
作者: Dracula    时间: 2019-2-5 00:37
晨枫 发表于 2019-2-5 00:01
  A( T% G0 S7 l- u( V多谢。接下来我会按42楼办法用实际数据多试试，包括scaling，然后和目视结果比较。如果可靠的话，就能用 ...

) |- X' f, ^) P0 u3 L我在你这儿再贴几张Melissa Benoist的照片
2 u8 T- J& W+ [: p8 \1 E# K1 h$ n0 j; O4 Q
/ C* y$ @/ x/ g* z; A7 M
! B( ?8 ?. U/ W
  |/ u" q; ^: X# F+ V
2 [& ^3 |' u  R; V/ D% j

) O/ c0 ?8 Z9 H' f( L1 h" Z9 D: ?5 p  }* H6 h4 V

5 [# c$ O* S# S! M3 |  j/ L8 o& ^- Z; o, l
6 I* D8 X8 [- Z! \2 o$ A* T6 u# O) {
# p3 ]2 b+ C: _
0 c' [# k1 Q  X* p/ x5 ^

3 g. K& `6 e; g
& o# W% n' u+ \0 X3 e5 p$ L+ g
" c; m# Q, {  n! m, E; n. L" P" z' h' `- A  N
0 t5 v. c; k/ X4 m# E! j
+ d- k+ ?( ?2 O4 v
$ W, C6 O% B  P/ z

) B8 p) X9 u3 z7 _' k; L! l  \% H- y+ R( M, q- D- {/ R6 S1 q
5 b4 P/ l7 U% [: N! e# H: n6 s
; _9 z5 u  C, f$ t
1 |0 o; H; X; m5 e! }3 k

3 r2 W6 k# h$ y, S# ~ 2 F$ L# N/ g3 y7 C4 @7 _: V
8 J. H: |8 ^/ ], }. y: C

! c  r8 d4 [8 P9 k. e) z% P0 c6 l& u0 e0 u
; G: r) L, t; B. U5 [& N4 w

1 _1 ^! v4 L$ Z ; \- X4 C: a* Q) e4 ^7 k
$ ~7 K' t5 W& U. p  [2 G& c$ i0 y
1 Y5 x# y! A5 i5 z$ u5 }1 K1 A
; w' [! i4 S0 j$ e
作者: tanis    时间: 2019-2-5 00:52
晨枫 发表于 2019-2-4 22:25
; l9 C2 m, ?2 ~$ v' `# M是的，我以前还试过用MATLAB C通过OPC与DCS相连，在技术上这是做得到的，但可靠性达不到要求。OPC是不作 ...
% h$ d1 k3 x  q3 v1 U% ~" [
大工程的可靠性果然是我们小lab里完全不能比的。
作者: 数值分析    时间: 2019-2-5 00:52
本帖最后由 数值分析 于 2019-2-5 00:58 编辑
- K8 |/ w: S7 i% K6 e; |
Dracula 发表于 2019-2-4 22:53
1 S$ G4 {0 a5 a, Q' u( [2 [我曾经想过一个和42楼类似的办法。区别是分母不是板数，而是各个板加在一起的温度的和。如果这条曲线真的 ...
+ }  m# n! g9 W6 u  y# t( ~6 l
0 T2 z( ]9 j1 f$ e2 @# n
这个和统计其实关系不大.你可以把他想象成求重心问题.已知一条曲线和x轴围成一个形状,如果这个形状是均匀厚度的匀质材料构成的一块板子,那么这个形状重心的x座标是多少?这个x座标(如果存在的话)就是这个分布的数学期望.这其实就是一个加权平均问题.当然,一个任意形状的重心和最高点的x座标当然不一定一致.不过数学上可以证明,高斯曲线和博松分布曲线围成的图形重心的x座标和最高点的x座标正好一样.和统计没关系.你再想想?
作者: 数值分析    时间: 2019-2-5 00:54
本帖最后由 数值分析 于 2019-2-5 01:04 编辑 ; `  x! Q9 |3 _0 h
晨枫 发表于 2019-2-4 22:38
) D/ T1 H  M- h3 R3 z嗯，我再想想。谢谢。

5 Z/ T3 c4 d/ r5 H) n% M8 l4 d
: {7 v+ B" L" U8 y: V% i) U# R请见74楼回复.谢谢.2 t0 G4 V$ F! n" O3 r# c  j

' l, T( I! ]( W8 t3 B) N) s任意偏态分布最高点的位置就不能简单的用样本均值来估计了.不过也有办法,如果已知分布函数可以用矩估计或者最大似然估计.
作者: Dracula    时间: 2019-2-5 01:02
数值分析 发表于 2019-2-5 00:527 ]" H+ |3 _5 j
这个和统计其实关系不大.你可以把他想象成求重心问题.已知一条曲线和x轴围成一个形状,如果这个形状如果是 ...
2 |( C6 g+ J8 h2 E( X) H
这个和零点的选择是有关的。如果把温度类比为具体某块板的sample size的话，统计学的那个解就是以sample size（也就是温度）来加权求平均值。移动纵坐标的0点，相当于所有的sample size都加或减了一个相同的数。但是数学上，分子分母同乘同除同一个数可以，同加同减同一个数，值要变的。这个问题上，0点的选择应该完全是arbitrary的，因此这个办法应该是有问题的。
; l# m$ p# b$ l
+ `' |* z* |7 E% i& K( l6 ]
作者: 晨枫    时间: 2019-2-5 01:03
tanis 发表于 2019-2-4 10:523 W! W2 T$ R3 G: {) a* @
大工程的可靠性果然是我们小lab里完全不能比的。

! B! B( T5 d: _3 T' Z$ ?: J3 }4 O% u+ \是啊，实验室规模的可行性和工业规模的可靠性是两个很不同的概念，实施起来的考虑完全不一样。实验室是探路、开路的，工程是修路、维持交通和拉动经济的。
作者: 晨枫    时间: 2019-2-5 01:06
Dracula 发表于 2019-2-4 10:37: |9 {, s# ~9 V6 X( C. d
我在你这儿再贴几张Melissa Benoist的照片

) [1 c" B. H6 \4 e# y呵呵，好久没见Melissa了。她笑起来还是很charming的！少了点妖气，这是她的长处，还是缺点。Too well rounded, not enough sparkle or something to make you on edge。
作者: 数值分析    时间: 2019-2-5 01:07
Dracula 发表于 2019-2-5 01:02
- y: p$ k  h* v/ @4 C这个和零点的选择是有关的。如果把温度类比为具体某块板的sample size的话，统计学的那个解就是以sample  ...

0 {" F! |- Q3 H8 ?/ g你可以试试,平移没有问题的.你把他想象成求重心问题,曲线平移x,重心也平移x..
作者: Dracula    时间: 2019-2-5 01:09
数值分析 发表于 2019-2-5 01:072 ?/ f4 e/ |9 {
你可以试试,平移没有问题的.你把他想象成求重心问题,曲线平移x,重心也平移x.. ...

5 r4 y4 U: w( i/ T; Y3 J9 G我在纸上推过公式，结果是随0点的选择变化的。! n: }  _& U. t% ~" U

  h5 C% O( u; F7 m1 x+ x
作者: 数值分析    时间: 2019-2-5 01:17
数值分析 发表于 2019-2-5 01:07" d+ Y- T* ~: u! D1 V2 e7 w& j0 r
你可以试试,平移没有问题的.你把他想象成求重心问题,曲线平移x,重心也平移x.. ...
$ P' {7 u( Q( ~+ S  k9 x
integral f(x)* x*dx=lambda右平移a个单位,则新重心位置integral f(x-a)*x*dx. 设t=x-a, integral f(t)* (t+a)*d(t+a)=integral f(t)* (t+a)* dt=integral f(t)* t* dt+integral f(t)* a* dt=lambda+a (因为integral f(t)*a *dt=a*integral f(t)* dt=a,而 integral f(t)* t* dt=lambda)/ ?4 x9 n" k- A4 X/ c7 V
形状右平移a个单位,重心也右平移a个单位
作者: 数值分析    时间: 2019-2-5 01:20
数值分析 发表于 2019-2-5 01:17
3 R# s, W. ^! Yintegral f(x)* x*dx=lambda右平移a个单位,则新重心位置integral f(x-a)*x*dx. 设t=x-a, integral f(t)*  ...

% t' r0 U  o/ R. D7 C' e当然,前提是integral f(x)* dx=1,所以我跟晨风说要归一,否则确实不灵.
作者: Dracula    时间: 2019-2-5 01:21
晨枫 发表于 2019-2-5 01:06
' i# z7 V" a+ j3 l0 h呵呵，好久没见Melissa了。她笑起来还是很charming的！少了点妖气，这是她的长处，还是缺点。Too well ro ...
; u3 m" g* Z1 B, m) t8 ^
看来你不去我的那个Superhero电视剧美女贴，那儿我最近一个月基本上每隔几天就会贴几张的。昨天庆祝CW宣布Supergirl会有第五季，我刚贴了16张Melissa Benoist的照片。而且那里除了Melissa Benoist以外，别的美女我也经常会贴几张，象最近有Katie McGrath，Emma Watson，Virginia Gardner和Elizabeth Laith。欢迎常去那儿，观看加分。
6 ], Z$ d& z1 m* A6 I6 G6 y5 `7 m8 c$ a0 @" d4 l
作者: Dracula    时间: 2019-2-5 01:37
数值分析 发表于 2019-2-5 01:206 t1 I; ?7 T% h& U  O
当然,前提是integral f(x)* dx=1,所以我跟晨风说要归一,否则确实不灵.

5 f1 ]0 {7 `& R! M曲线下面的面积等于1，这个条件肯定不满足。因为这本来就不是个概率论的问题。3 Z: y* B& {( r/ y( ^

: S  Z- e+ `+ |6 I那个公式是sum(xi * yi) / sum (yi), 如果纵坐标的零点移动，就是说yi' = yi + t, 你再算 sum(xi * yi) / sum (yi)不等于sum(xi * yi') / sum (yi')+ K. M( o. U! \8 A: v
+ i, I* N$ r; f  R# ?) K
作者: 数值分析    时间: 2019-2-5 01:41
Dracula 发表于 2019-2-5 01:37
+ J7 I9 G& z. Z7 A  O0 i1 T曲线下面的面积等于1，这个条件肯定不满足。因为这本来就不是个概率论的问题。
4 K% b' o) x% ?6 V: l4 y3 U( c
* o, q; z1 \- z9 c4 E3 J9 T那个公式是sum(xi * yi)  ...
& W; d1 Q/ P4 o) R$ v- X: Q
所以我和晨风说要归一么.用histogram 面积归一以后,没问题.这实际是个加权平均问题,加权平均要求所以权重加起来和是1.即integral f(x)* dx=1,现在权重是温度,加起来肯定不是1.但只要除以总面积,(这里就是总温度),就还是满足这个关系的.不影响结果.晨风只关心最高点出现的位置,而不关心最高点是多少,这是关键.
作者: 晨枫    时间: 2019-2-5 01:46
Dracula 发表于 2019-2-4 11:21
9 `8 g' l% N7 G: S+ t: a/ D看来你不去我的那个Superhero电视剧美女贴，那儿我最近一个月基本上每隔几天就会贴几张的。昨天庆祝CW宣 ...
+ E4 a& B, u( c9 K9 d  B. F
这等好地方怎么错过了？赶紧去看！
作者: 晨枫    时间: 2019-2-5 01:49
数值分析 发表于 2019-2-4 11:41, A' F1 U' B9 f* ?
所以我和晨风说要归一么.用histogram 面积归一以后,没问题.这实际是个加权平均问题,加权平均要求所以权重 ...
% |: @+ B/ U* g" f& X
话说，如果选“爱坛最学术贴”，这个贴有没有希望当选？我肯定投一票！
( H5 y4 C+ W% p5 x; m7 c6 S
" k& ^/ s3 ]  A; |3 S$ }# l多谢各位老大帮忙、指点。正在用Excel抓历史数据验算，看看这办法灵不灵验！
作者: 数值分析    时间: 2019-2-5 01:51
晨枫 发表于 2019-2-5 01:49# ^9 X3 Y6 ~1 x0 s' s
话说，如果选“爱坛最学术贴”，这个贴有没有希望当选？我肯定投一票！
% b. I5 `9 o0 H( p% T
- l- D# t* c8 Q' t多谢各位老大帮忙、指点。正在用 ...

  u9 l5 J2 k- p7 A) R+ {( N9 w8 l3 N; _2 e2 ~; q# J
如果不灵就是你那个偏态曲线和博松分布曲线实际上并不像,即重心和最高点不重合.不过有的修.如果到那一步咱们再谈怎么修.
作者: 数值分析    时间: 2019-2-5 01:54
晨枫 发表于 2019-2-5 01:49+ A" Q/ H$ U5 K& }* A, n4 S
话说，如果选“爱坛最学术贴”，这个贴有没有希望当选？我肯定投一票！
4 T1 [# X9 Y4 t* r4 k4 k" d
: R5 o' [& E( U* s多谢各位老大帮忙、指点。正在用 ...
" o. }6 w' ^' n& a2 [8 \. i- @
不过不管灵不灵,晨大可以帮我验证这样一个事儿,即把整个曲线平移n个单位,用同样的算法算完,结果应该是老结果平移n个单位.这个不管是不是博松,只要面积归一一定都灵.
作者: Dracula    时间: 2019-2-5 02:00
本帖最后由 Dracula 于 2019-2-5 03:16 编辑 . u9 G# {/ s. C1 [% \9 P3 H
数值分析 发表于 2019-2-5 01:41
: ?& q" \3 J- X* Q# i# |! ^" I/ U所以我和晨风说要归一么.用histogram 面积归一以后,没问题.这实际是个加权平均问题,加权平均要求所以权重 ...
: X/ i2 x' ~, {" y3 X4 x+ ~+ Z
' [) [1 k8 Y5 D1 I
假设一个最简单的情况吧。只有两个点，y1和y2，y1<y2，如果你把零点设在y1, 那么y2的权重是1，y1的权重是0，只有第二个点的值决定结果。但是如果零点设在接近于负无穷，那么不管y1, y2的值是多少，都接近相当于两个点的权重都是0.5。零点的选择肯定是对结果有影响的。但是因为零点的选择是arbitrary的，这种情况不应该出现，因此我认为这个算法有问题。1 J3 g$ }! m3 n( N* T- P
' @& d# b! u) W; M2 |/ o: q
! p# e3 V) c4 H+ Q* ]2 f
作者: 晨枫    时间: 2019-2-5 02:01
数值分析 发表于 2019-2-4 11:54$ j0 e  L/ n( O! n4 T
不过不管灵不灵,晨大可以帮我验证这样一个事儿,即把整个曲线平移n个单位,用同样的算法算完,结果应该是老 ...

, u0 H  ?, T! F* M5 ~$ E4 ~. k我用“掐尾”正态分布已经试过了，不归一都精度不错。我再归一试试看！
作者: 晨枫    时间: 2019-2-5 02:02
数值分析 发表于 2019-2-4 11:510 B0 W7 S8 `& a4 G) R+ b5 F! M" O
如果不灵就是你那个偏态曲线和博松分布曲线实际上并不像,即重心和最高点不重合.不过有的修.如果到那一步 ...
; w2 z) r4 a" M# g% m5 w
多谢！will report back!
作者: holycow    时间: 2019-2-5 02:15
数值分析 发表于 2019-2-4 09:411 G9 f! v2 S1 y7 L. W! r2 x
所以我和晨风说要归一么.用histogram 面积归一以后,没问题.这实际是个加权平均问题,加权平均要求所以权重 ...

$ |2 w0 b/ ?* a. o伯爵的意思是说，总温度凭什么以零摄氏度做原点？如果零度不是原点，则和原点的相对温度差之和完全是主观确定的，就不能拿来当scaling的分母
作者: 数值分析    时间: 2019-2-5 02:23
本帖最后由 数值分析 于 2019-2-5 02:25 编辑
! Z7 d8 s( Y% E8 m& a
holycow 发表于 2019-2-5 02:15
# Y8 ]  c" z: y# ~伯爵的意思是说，总温度凭什么以零摄氏度做原点？如果零度不是原点，则和原点的相对温度差之和完全是主观 ...

! i( N6 w& `/ {, j2 P8 x2 ^) m
9 m6 P" [4 W; ]% A# @9 _& n+ K这个答案很简单,因为用零度才像泊松分布,如果上下平移的话,重心还是存在的,只是和最高点不再重合.你可以试想一下把泊松分布加上一,然后重新归一,也能得一个新的分布,这个分布也有期望,但期望很可能就不是最高点了. 不过单峰分布,只要不是骨骼轻奇(偏度skewness特别大),基本上最高点和重心差不太远.
作者: 数值分析    时间: 2019-2-5 02:32
holycow 发表于 2019-2-5 02:15- r1 k, m/ o! I. d  i9 Q* s# e
伯爵的意思是说，总温度凭什么以零摄氏度做原点？如果零度不是原点，则和原点的相对温度差之和完全是主观 ...
" B  ~$ a; x- Q: e* N
顺便说一下,如果是对称的单峰分布的话,就没有这个问题,随便上下平移,只要归一就可以.
作者: holycow    时间: 2019-2-5 02:42
数值分析 发表于 2019-2-4 10:32
+ b+ }7 M9 m/ A7 L. S顺便说一下,如果是对称的单峰分布的话,就没有这个问题,随便上下平移,只要归一就可以. ...
! }# T5 u3 a$ V7 O$ I2 I
1. 极值出在哪里，只要估计出lambda即可/ H0 J  @( {7 ]! ?
2. Lambda的估计需要依赖于归一
. P* D" O  ^8 j- t7 _+ m4 }; }3. 归一的分母是可以主观确定的 (导致曲线下面积变动)
0 P8 {4 Q9 P( e) l/ m
6 ^4 ?/ |7 B: }/ f2 H) L就算是对称单峰分布，也要先解决这个峰的陡峭程度才知道这个峰在哪里，恰恰是峰的陡峭程度依赖于归一的分母...
作者: tanis    时间: 2019-2-5 03:26
数值分析 发表于 2019-2-5 02:23/ P7 r" h# P7 b! d6 K
这个答案很简单,因为用零度才像泊松分布,如果上下平移的话,重心还是存在的,只是和最高点不再重合.你可以 ...

7 R* q! u/ C3 P/ _1 r冒昧的问一句，你搞过竞赛么~
2 K) @  i' Z9 o& C8 X) v, d% A& z) _9 n$ A
思维方式挺像的~
作者: Dracula    时间: 2019-2-5 03:43
数值分析 发表于 2019-2-5 02:23# G& E1 [1 c3 v% Y# A( `# H* x
这个答案很简单,因为用零度才像泊松分布,如果上下平移的话,重心还是存在的,只是和最高点不再重合.你可以 ...
2 J& n# i# U4 }1 j
问题就是这个0度在哪儿你并不知道。至于曲线下的面积必须是1这一点，只要各个点同乘或同除一个数就都可以做到，这个条件并不能提供任何额外的约束来确定零度这个参数。# W' {4 X6 L8 d+ ]; L- u  X

$ D( o# k4 |5 e, P7 D5 \
作者: 木不铎    时间: 2019-2-5 05:31
不麻烦啊。查一下维基百科上关于“泊松分布”的页面嘛。
3 S4 t" A; q- a; d" p( Z0 V1 k: K( V6 C: b
泊松分布的概率密度函数为1 \( f% T6 u: x7 R
) [% G- `7 m8 ]: D2 e, y
其中λ是单位时间（或单位面积）内随机事件的平均发生率，k代表发生某类事件的次数。8 c* P; a2 u2 x0 D
这里有一个很好的例子如下：. S8 \# e- Q& b  l- h7 B- }1 C% F
; b7 S3 o& p# m* p
1 b: Y: F( ]* p; ]2 u. P' F+ O
对某公共汽车站的客流做调查，统计了某天上午10:30到11:47来到候车的乘客情况。假定来到候车的乘客各批（每批可以是1人也可以是多人）是互相独立发生的。观察每20秒区间来到候车的乘客批次，共观察77分钟*3=231次，共得到230个观察记录。其中来到0批、1批、2批、3批、4批及4批以上的观察记录分别是100次、81次、34次、9次、6次。使用极大似真估计（MLE），得到 的估计为λ=（81*1+34*2+9*3+6*4）/231=0.8658。

+ O. W- }  `# G& I/ n* _+ m6 u/ ?/ @% n, G
也就是说20秒之内平均有0.8658批客人。  T% _3 A% J% T) v9 I/ H

0 _/ h4 p7 J1 J( V- r" R6 ?这个例子应该和斯基的问题很类似。根据统计数字，用这个MLE方法，就能得到你的均值λ
作者: 晨枫    时间: 2019-2-5 05:49
木不铎 发表于 2019-2-4 15:312 J1 a1 }: W$ S8 H) _) e2 O( O
不麻烦啊。查一下维基百科上关于“泊松分布”的页面嘛。( u2 \- \0 s& f/ c+ E; m2 f9 \

3 s5 ^) O! B0 Y  Q. |泊松分布的概率密度函数为

3 E9 M! j1 `. Q- [1 F谢谢。这和42楼“数值分析”的方法是一样的。



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2